fp16是Intel提出的半精度浮点数(float16)。
fp16,它占有16bit(2字节),其中5bit用来表示指数位(表示10的幂次),10bit用来表示小数位(也叫尾数位,表示浮点数的有效数字部分),还有一个符号位。5个指数位本来可以表示00000-11111,但是全0和全1有特殊含义,换算成10进制也就是1至30,减去偏置15、能表示的正负区间为-14至15,尾数位可以表示1.0000000000至1.1111111111(此时尾数位前的隐藏项为1),换算成10进制也就是[1, 2)。
——参考链接。