七 精度損失問題,int,long超過最大值

2021-10-09 12:12:43 字數 398 閱讀 2201

整數的運算會有乙個自動法則:低精度(整數)往高精度(浮點數)的轉化,為了避免精度損失,通常高精度往低精度轉化都需要手動強轉,但這樣還是會產生精度損失的問題。

1.比如1.0-0.9在計算機的運算不會精確等於1,而是等於0.100000024。這是因為計算機進行資料的儲存和運算都是以二進位制形式進行的,二進位制不能精確地表示浮點數小數點的運算結果,在ieee 754中規定的對階以及尾數字的移動都是為了減少這種運算精度損失。

2.int、long這些是有一定的表示範圍的,int是4個位元組,long是8個位元組,由於有乙個位表示符號位,1個位元組由8個bit組成,它們所能表示的範圍分別是-2的31次方~(2的31次方)-1,-2的63次方~(2的63次方)-1.一旦它們表示的數超過了最大值,就會產生溢位,一般情況下會進行"取模"處理,通常返回乙個範圍內的數。

double型別精度損失問題

在十進位制中小數有些是無法完整用二進位制表示的。它們只能用有限位來表示,從而在儲存時可能就會有誤差。十進位制的小數採用乘2取整法進行計算,去掉整數部分後,剩下的小數繼續乘以2,直到小數部分全為0.有的小數可能取不到零就會一直迴圈 0.9 2 1.8 取整1 0.8 2 1.6 取整1 0.6 2 1...

BigDecimal解決精度損失的問題

1 system.out.println 中的數字預設是double型別的,double型別小數計算不精準。2 使用bigdecimal類構造方法傳入double型別時,計算的結果也是不精確的!因為不是所有的浮點數都能夠被精確的表示成乙個double 型別值,有些浮點數值不能夠被精確的表示成 dou...

JS精度損失toFixed

很明顯字尾00001跟預期想要的不一致,起初面臨這個問題我的處理方式是這樣的 1234 0.01 tostring substring 0,2 1234 0.01 tostring substring 2,4 這樣子雖然可行,但是當接收的引數1234是其他長度的話又得做一堆判斷,格外不方便。後來問了...