Že OO Calc počítá fci COS a TAN v hodnotách blížících se relativně pi/2 nepřesně. Prvni sloupec byla hodnota v radiánech, druhý výstup z programu kcalc (bohužel taky nepřesný a poslední co vyleze z OO Calc.
OpenOffice.org 3.0.0
OO300m9 (Build:9358) 3.0-r14320 Mandriva 2009 64bit
rad cos tan
1,57079570 6,2679489671e-07 1,5954182225e+06
1,57079580 5,2679489665e-07 1,8982719961e+06
1,57079590 4,2679489660e-07 2,3430458236e+06
1,57079600 3,2679489654e-07 3,0600233070e+06
1,57079610 2,2679489670e-07 4,4092702902e+06
1,57079620 1,2679489664e-07 7,8867527517e+06
1,57079630 2,6794896585e-08 3,7320539634e+07
pi/2 6,1230317691e-17 1,6331778728e+16
1,57079640 -7,3205103473e-08 -1,3660249799e+07
1,57079650 -1,7320510331e-07 -5,7735019401e+06
1,57079660 -2,7320510337e-07 -3,6602537349e+06
1,57079670 -3,7320510343e-07 -2,6794917616e+06
1,57079680 -4,7320510348e-07 -2,1132485526e+06
1,57079690 -5,7320510332e-07 -1,7445762332e+06
1,57079700 -6,7320510338e-07 -1,4854314012e+06
1,57079710 -7,7320510344e-07 -1,2933178992e+06
1,57079720 -8,7320510350e-07 -1,1452063164e+06
Správně má být (..asi správně výstup z C programu aproximující fce SIN a COS. Vstupní hodnota se upravuje v řetězci, až pak se převádí na long double.)
rad: 1.5707957000e+00 abs(cos): 6.2679489662e-07 tan: 1.5954182228e+06
rad: 1.5707958000e+00 abs(cos): 5.2679489662e-07 tan: 1.8982719962e+06
rad: 1.5707959000e+00 abs(cos): 4.2679489662e-07 tan: 2.3430458235e+06
rad: 1.5707960000e+00 abs(cos): 3.2679489662e-07 tan: 3.0600233062e+06
rad: 1.5707961000e+00 abs(cos): 2.2679489662e-07 tan: 4.4092702918e+06
rad: 1.5707962000e+00 abs(cos): 1.2679489662e-07 tan: 7.8867527532e+06
rad: 1.5707963000e+00 abs(cos): 2.6794896619e-08 tan: 3.7320539587e+07
nan
rad: 1.5707962536e+00 abs(cos): 7.3205103381e-08 tan: -1.3660249816e+07
rad: 1.5707961536e+00 abs(cos): 1.7320510338e-07 tan: -5.7735019378e+06
rad: 1.5707960536e+00 abs(cos): 2.7320510338e-07 tan: -3.6602537347e+06
rad: 1.5707959536e+00 abs(cos): 3.7320510338e-07 tan: -2.6794917619e+06
rad: 1.5707958536e+00 abs(cos): 4.7320510338e-07 tan: -2.1132485530e+06
rad: 1.5707957536e+00 abs(cos): 5.7320510338e-07 tan: -1.7445762330e+06
rad: 1.5707956536e+00 abs(cos): 6.7320510338e-07 tan: -1.4854314012e+06
rad: 1.5707955536e+00 abs(cos): 7.7320510338e-07 tan: -1.2933178993e+06
rad: 1.5707954536e+00 abs(cos): 8.7320510338e-07 tan: -1.1452063165e+06