【v14】浮点数精度问题

Joestar.Xu · 2023-10-26 14:00 上传

本帖最后由 Lynn.Dou 于 2023-10-27 14:04 编辑

产品：SpreadJS
版本：V14
如图，A3单元格的公式是A2-A1，期望应该得到0.01，但是实际上得到的是很长的一段小数 image.png417716369.png

Joestar.Xu · Joestar.Xu

您好，在初始化时执行下面这行代码即可：

GC.Spread.CalcEngine.Functions.CALC_PRECISION = 12

littleknife · littleknife

Joestar.Xu 发表于 2023-10-26 16:39
您好，在初始化时执行下面这行代码即可：

GC.Spread.CalcEngine.Functions.CALC_PRECISION = 12

加上了之后确实解决了，请问下这个12是什么意思呢，查了下api没有查到，会不会对我们其他业务场景有影响

Joestar.Xu · Joestar.Xu

您好，这个12指的是取12位有效数值进行计算，一般是不会对其他业务产生影响的。

		自动登录	找回密码
密码			立即注册

[已处理] 【v14】浮点数精度问题