浮点数精度问题解决

简介: 笔记
// 浮点数精度问题
   //减法 其他方法以此类推
    floatRemove(val, ele) {
      let b = val.toString().split(".")[1];
      let d = ele.toString().split(".")[1];
      let num = 0;
      //以防不是小数报错
      b ? (b = Math.pow(10, b.length)) : (b = 0);
      d ? (d = Math.pow(10, d.length)) : (d = 0);
      b > d ? (num = b) : (num = d);
      if (num == 0) {
        num = 1;
      }
      return (val * num - ele * num) / num;
    },
目录
相关文章
|
21天前
|
C语言
|
10月前
浮点数的世界 0.1 + 0.2 = 0.30000000000000004?
今天看到一个有趣的新闻,浮点数计算导致的灾难,借此机会再理解一下浮点数的原理。
71 1
|
11月前
|
存储 Java
详解浮点数
1.什么是浮点数 在计算机系统的发展过程中,曾经提出过多种方法表示实数,但是到为止使用最广泛的是浮点表示法。浮点表示法,即用浮点数来表示实数,所谓浮点数,意思是小数点的位置不是固定的,是可以浮动的。浮点数采用IEEE 754这个标准作为统一的标准。该标准中严格定义个浮点数的表示格式、转化过程。 下面简单介绍一下IEEE 754标准。 IEEE 754的核心就是用科学计数法来表示实数,然后将表示结果转为二进制的方式,方便计算机存储。
292 0
|
12月前
|
存储
二进制浮点数的加减法运算
二进制浮点数的加减法运算
|
12月前
|
编译器 C++
C++ 字符串转浮点数,包括整数、小数和科学记数法
C++ 字符串转浮点数,包括整数、小数和科学记数法
304 0
|
存储
5.6.1_浮点数的表示
计算机组成原理之浮点数的表示
237 0
5.6.1_浮点数的表示
5.1.7_定点小数
计算机组成原理之定点小数
360 0
06:浮点数向零舍入
06:浮点数向零舍入
175 0
|
存储
浮点数的表示方法
浮点数的表示方法
66 0
浮点数的表示方法