float数据类型研究,发现其能显示的有效数字极为有限

简介:
  1. 范围
    float和double的范围是由指数的位数来决定的。

float的指数位有8位,而double的指数位有11位,分布如下:
float:
1bit(符号位) 8bits(指数位) 23bits(尾数位)
double:
1bit(符号位) 11bits(指数位) 52bits(尾数位)
于是,float的指数范围为-127~+128,而double的指数范围为-1023~+1024,并且指数位是按补码的形式来划分的。
其中负指数决定了浮点数所能表达的绝对值最小的非零数;而正指数决定了浮点数所能表达的绝对值最大的数,也即决定了浮点数的取值范围。
float的范围为-2^128 ~ +2^128,也即-3.40E+38 ~ +3.40E+38;double的范围为-2^1024 ~ +2^1024,也即-1.79E+308 ~ +1.79E+308。

  1. 精度
    float和double的精度是由尾数的位数来决定的。浮点数在内存中是按科学计数法来存储的,其整数部分始终是一个隐含着的“1”,由于它是不变的,故不能对精度造成影响。

float:2^23 = 8388608,一共七位,这意味着最多能有7位有效数字,但绝对能保证的为6位,也即float的精度为6~7位有效数字;
double:2^52 = 4503599627370496,一共16位,同理,double的精度为15~16位。

博主测试:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
public class TestFloat : MonoBehaviour {

public float f = 0f;
public double f2 = 0f;

// Use this for initialization
void Start () {

    f = 123456700.987654321f;//89换成00则不会进行四舍五入
    f2 = 123456789.987654321d;//如果是f就成单精度的了

    Debug.Log (f);

    Debug.Log (f2);
}

本文转自jiahuafu博客园博客,原文链接http://www.cnblogs.com/jiahuafu/p/7902602.html如需转载请自行联系原作者

jiahuafu

相关文章
Python之pandas:数据类型变换之object、category、bool、int32、int64、float64以及数据类型标准化之详细攻略
Python之pandas:数据类型变换之object、category、bool、int32、int64、float64以及数据类型标准化之详细攻略
Python之pandas:数据类型变换之object、category、bool、int32、int64、float64以及数据类型标准化之详细攻略
|
4月前
|
存储 数据处理 索引
数据类型转换:int()、str()、float()
在Python中,数据类型转换是一项基础且重要的操作
|
4月前
|
存储 Python
语音输入,python数据类型,type()用来查看数据类型,数据类型转换,int(x)转整数,float(x)转换为浮点数,str(x),将对象转为字符串,标识符,标识符不允许使用关键字,关键字参考
语音输入,python数据类型,type()用来查看数据类型,数据类型转换,int(x)转整数,float(x)转换为浮点数,str(x),将对象转为字符串,标识符,标识符不允许使用关键字,关键字参考
|
存储 关系型数据库 MySQL
【必看】MySQL中float、double、decimal三个浮点数据类型的区别与总结!
你还不知道MySQL中float、double、decimal三个浮点类型的区别吗?快来看看吧!
592 0
【必看】MySQL中float、double、decimal三个浮点数据类型的区别与总结!
C#基础②——数据类型(decimal和float、double的区别)
double和float都是存小数的,为什么还要分两个,一个不就行了,那它们两个有哪些区别?
|
Java
java基本数据类型, byte: short: int: long: float: double: float和double有什么区别 boolean: ch
java基本数据类型, byte: short: int: long: float: double: float和double有什么区别 boolean: ch
266 0
|
安全 程序员 Go
Go基础数据类型使用实战:int float bool
Go基础数据类型使用实战:int float bool
123 0
Go基础数据类型使用实战:int float bool
Go-基本数据类型转换详解(int系列、float系列、string等)
Go-基本数据类型转换详解(int系列、float系列、string等)
136 0
Go-基本数据类型转换详解(int系列、float系列、string等)
|
存储 算法 Java
Java语言中:float数据类型在内存中是怎么存储的?
=============================================================================java语言中,float类型数字在计算机中用4个字节来存储。
1092 0