为什么更改求和顺序会返回不同的结果?

IT技术 java javascript floating-point
2021-01-30 13:41:58

为什么更改求和顺序会返回不同的结果?

23.53 + 5.88 + 17.64 = 47.05

23.53 + 17.64 + 5.88 = 47.050000000000004

双方的JavaJavaScript的返回相同的结果。

我明白,由于浮点数以二进制表示的方式,一些有理数(如 1/3 - 0.333333...)无法精确表示。

为什么简单地改变元素的顺序会影响结果?

6个回答

也许这个问题很愚蠢,但为什么简单地改变元素的顺序会影响结果?

它将根据值的大小更改四舍五入的点。作为我们所看到那种事情的一个例子,让我们假设我们使用的是具有 4 个有效数字的十进制浮点类型而不是二进制浮点数,其中每个加法都以“无限”精度执行,然后四舍五入为最接近的可表示数字。这里有两个总和:

1/3 + 2/3 + 2/3 = (0.3333 + 0.6667) + 0.6667
                = 1.000 + 0.6667 (no rounding needed!)
                = 1.667 (where 1.6667 is rounded to 1.667)

2/3 + 2/3 + 1/3 = (0.6667 + 0.6667) + 0.3333
                = 1.333 + 0.3333 (where 1.3334 is rounded to 1.333)
                = 1.666 (where 1.6663 is rounded to 1.666)

我们甚至不需要非整数来解决这个问题:

10000 + 1 - 10000 = (10000 + 1) - 10000
                  = 10000 - 10000 (where 10001 is rounded to 10000)
                  = 0

10000 - 10000 + 1 = (10000 - 10000) + 1
                  = 0 + 1
                  = 1

这可能更清楚地表明,重要的部分是我们有有限数量的有效数字——而不是有限数量的小数位如果我们可以始终保持相同的小数位数,那么至少通过加法和减法,我们就可以了(只要值不溢出)。问题是当你得到更大的数字时,会丢失更小的信息——在这种情况下,10001 被四舍五入为 10000。(这是Eric Lippert 在他的回答中指出的问题的一个例子。)

请务必注意,右侧第一行的值在所有情况下都相同 - 因此,尽管了解您的十进制数 (23.53, 5.88, 17.64) 不会完全表示为double很重要,但这很重要只是因为上面显示的问题而导致的问题。

May extend this later - out of time right now! 热切地等待它@Jon
2021-03-16 13:41:58
@meteors:不,它不会导致溢出 - 而且您使用了错误的数字。10001 被四舍五入到 10000,而不是 1001 被四舍五入到 1000。为了更清楚,54321 将被四舍五入到 54320 - 因为它只有四位有效数字。“四位有效数字”和“最大值为 9999”之间存在很大差异。正如我之前所说,您基本上表示 x.xxx * 10^n,其中对于 10000,x.xxx 将是 1.000,n 将是 4。这就像doubleand float,对于非常大的数字,连续可表示的数字相距超过 1。
2021-03-23 13:41:58
@ZongZhengLi:虽然理解这一点当然很重要,但在这种情况下,这不是根本原因。你可以写与值类似的例子正好在二进制表示,看到同样的效果。这里的问题是同时维护大规模信息和小规模信息。
2021-03-26 13:41:58
@Buksy:四舍五入为10000 - 因为我们正在处理只能存储 4 个有效数字的数据类型。(所以 x.xxx * 10^n)
2021-04-05 13:41:58
当我说我稍后会回复答案时,社区对我的态度稍微差了一点<在此处输入某种轻松的表情符号以表明我在开玩笑而不是混蛋> ...稍后会回到这个问题。
2021-04-06 13:41:58

这是二进制文件中发生的事情。众所周知,一些浮点值不能用二进制精确表示,即使它们可以用十进制精确表示。这三个数字只是这个事实的例子。

通过这个程序,我输出每个数字的十六进制表示和每个加法的结果。

public class Main{
   public static void main(String args[]) {
      double x = 23.53;   // Inexact representation
      double y = 5.88;    // Inexact representation
      double z = 17.64;   // Inexact representation
      double s = 47.05;   // What math tells us the sum should be; still inexact

      printValueAndInHex(x);
      printValueAndInHex(y);
      printValueAndInHex(z);
      printValueAndInHex(s);

      System.out.println("--------");

      double t1 = x + y;
      printValueAndInHex(t1);
      t1 = t1 + z;
      printValueAndInHex(t1);

      System.out.println("--------");

      double t2 = x + z;
      printValueAndInHex(t2);
      t2 = t2 + y;
      printValueAndInHex(t2);
   }

   private static void printValueAndInHex(double d)
   {
      System.out.println(Long.toHexString(Double.doubleToLongBits(d)) + ": " + d);
   }
}

printValueAndInHex方法只是一个十六进制打印机助手。

输出如下:

403787ae147ae148: 23.53
4017851eb851eb85: 5.88
4031a3d70a3d70a4: 17.64
4047866666666666: 47.05
--------
403d68f5c28f5c29: 29.41
4047866666666666: 47.05
--------
404495c28f5c28f6: 41.17
4047866666666667: 47.050000000000004

第4个数字是xyz,和s的十六进制表示。在 IEEE 浮点表示中,第 2-12 位表示二进制指数,即数字的小数位数。(第一位是符号位,其余位是尾数。)表示的指数实际上是二进制数减去 1023。

提取前 4 个数字的指数:

    sign|exponent
403 => 0|100 0000 0011| => 1027 - 1023 = 4
401 => 0|100 0000 0001| => 1025 - 1023 = 2
403 => 0|100 0000 0011| => 1027 - 1023 = 4
404 => 0|100 0000 0100| => 1028 - 1023 = 5

第一组补充

第二个数字 ( y) 的幅度较小。将这两个数字相加得到 时x + y,第二个数字 ( 01)的最后 2 位被移出范围并且不计入计算。

第二个加法x + y加法相加的z两个相同比例的数字。

第二组补充

在这里,x + z首先发生。它们具有相同的比例,但它们产生的数字在比例上更高:

404 => 0|100 0000 0100| => 1028 - 1023 = 5

第二次加法加上x + zy,现在去掉3y来加上数字 ( 101)。在这里,必须向上舍入,因为结果是下一个浮点数向上:4047866666666666第一组加法与4047866666666667第二组加法。该错误足以显示在总数的打印输出中。

总之,对 IEEE 数字执行数学运算时要小心。有些表示是不精确的,当尺度不同时,它们变得更加不精确。如果可以,添加和减去类似比例的数字。

@rgettman 作为一名程序员,我更喜欢你的答案=)+1 为你的十六进制打印机助手......这真的很不错!
2021-03-31 13:41:58
不同的尺度是重要的部分。您可以编写(以十进制)以二进制表示的确切值作为输入,但仍然存在相同的问题。
2021-04-08 13:41:58

乔恩的回答当然是正确的。在您的情况下,误差不大于您在执行任何简单浮点运算时累积的误差。你有一个场景,在一种情况下你得到零错误,而在另一种情况下你得到一个小错误;这实际上并不是一个有趣的场景。一个很好的问题是:是否存在将计算顺序从微小错误变为(相对)巨大错误的场景?答案毫无疑问是肯定的。

考虑例如:

x1 = (a - b) + (c - d) + (e - f) + (g - h);

对比

x2 = (a + c + e + g) - (b + d + f + h);

对比

x3 = a - b + c - d + e - f + g - h;

显然,在精确的算术中,它们是相同的。尝试找到 a、b、c、d、e、f、g、h 的值使得 x1、x2 和 x3 的值相差很大是很有趣的。看看你能不能做到!

@kevinhsu 一般来说不,编译器没有那么聪明。当然,如果编译器愿意的话,它可以选择以精确的算术进行运算,但通常不会。
2021-03-17 13:41:58
@frozenkoi:是的,错误很容易无限大。例如,考虑 C#:double d = double.MaxValue; Console.WriteLine(d + d - d - d); Console.WriteLine(d - d + d - d);- 输出是 Infinity 然后是 0。
2021-03-20 13:41:58
@Cruncher:计算精确的数学结果以及 x1 和 x2 值。调用真实结果和计算结果 e1 和 e2 之间的精确数学差异。现在有几种方法可以考虑错误大小。第一个是:你能找到一个场景,其中任一 | e1 / e2 | 或 | e2 / e1 | 大吗?比如,你能不能把一个的错误变成另一个错误的十倍?不过,更有趣的是,如果您可以将一个错误的错误作为正确答案大小的一小部分。
2021-04-03 13:41:58
我意识到他在谈论运行时,但我想知道:如果表达式是编译时(比如 constexpr)表达式,编译器是否足够聪明以最小化错误?
2021-04-06 13:41:58
你如何定义大量?我们是在 1000ths 的数量级上说话吗?100 分?1个???
2021-04-10 13:41:58

这实际上涵盖的不仅仅是 Java 和 Javascript,并且可能会影响使用浮点数或双精度数的任何编程语言。

在内存中,浮点使用符合 IEEE 754 的特殊格式(转换器提供的解释比我能做的要好得多)。

无论如何,这是浮点转换器。

http://www.h-schmidt.net/FloatConverter/

关于操作顺序的事情是操作的“精细度”。

您的第一行从前两个值中得出 29.41,这给了我们 2^4 作为指数。

你的第二行产生 41.17,这给了我们 2^5 作为指数。

通过增加指数,我们正在失去一个重要的数字,这可能会改变结果。

尝试为 41.17 打开和关闭最右侧的最后一位,您会看到指数的 1/2^23 等“无关紧要”的东西足以导致这种浮点差异。

编辑:对于那些记得重要人物的人,这将属于该类别。10^4 + 4999 的有效数字为 1 将是 10^4。在这种情况下,有效数字要小得多,但我们可以看到附加了 .00000000004 的结果。

浮点数使用 IEEE 754 格式表示,该格式为尾数(有效数)提供特定大小的位。不幸的是,这为您提供了特定数量的“分数积木”,并且某些分数无法精确表示。

在您的情况下发生的情况是,在第二种情况下,由于评估添加的顺序,添加可能会遇到一些精度问题。我还没有计算这些值,但可能是例如 23.53 + 17.64 无法精确表示,而 23.53 + 5.88 可以。

不幸的是,这是一个您必须处理的已知问题。