[技术求助]

请问28377 浮点精度低如何解决?

[复制链接]
16204|2
手机看帖
扫描二维码
随时随地手机跟帖
airwill| | 2021-5-17 16:57 | 显示全部楼层
28377 浮点采用的是  IEEE 754 单精度浮点数,  虽然是有精度问题,  但 1.0*2.0 这样的数相乘, 不会有误差的.
0.1*0.2 会有误差的

使用特权

评论回复
ayb_ice| | 2021-5-18 09:44 | 显示全部楼层
即使有误差也不可能大到这程序,小数点后5~6位后是有可能的
但小的整数应该是没有误差的

使用特权

评论回复
发新帖 我要提问
您需要登录后才可以回帖 登录 | 注册

本版积分规则

30

主题

57

帖子

3

粉丝