基于熵的 Shalizi 的贝叶斯反向时间箭头悖论的反驳?

机器算法验证 贝叶斯 最大熵 哲学的
2022-01-24 02:35:12

这篇论文中,才华横溢的研究员 Cosma Shalizi 认为,要完全接受主观贝叶斯观点,还必须接受一个非物理的结果,即时间之箭(由熵流给出)实际上应该倒退这主要是为了反对ET Jaynes提出并推广的最大熵/完全主观贝叶斯观点。

LessWrong,许多贡献者对贝叶斯概率论和主观贝叶斯方法非常感兴趣,作为正式决策理论的基础和迈向强大 AI 的垫脚石Eliezer Yudkowsky是那里的共同贡献者,我最近在阅读这篇文章时看到了这条评论(在原始帖子页面上不久之后还有其他几条很好的评论)。

谁能评论 Yudkowsky 反驳 Shalizi 的有效性。简而言之,Yudkowsky 的论点是,推理代理更新其信念的物理机制需要工作,因此具有 Shalizi 正在掩盖的热力学成本。在另一条评论中,Yudkowsky 对此进行了辩护,他说:

“如果你从系统外逻辑上无所不知的完美观察者的角度来看,“熵”的概念几乎没有意义,“概率”也是如此——你永远不必使用统计热力学来建模任何东西,你只需使用确定性精确波动方程。”

任何概率论者或统计力学可以对此发表评论吗?我不太关心权威关于沙利兹或尤德科夫斯基地位的争论,但我真的很想看看尤德科夫斯基的三点对沙利兹文章的批评方式的总结。

为了符合常见问题解答指南并使其成为一个具体可回答的问题,请注意,我要求提供具体的逐项答复,该答复采用 Yudkowsky 的三步论证,并指出在 Shalizi 文章中这三个步骤驳斥假设和/或推导的位置,或者,另一方面,指出在 Shalizi 的论文中,Yudkowsky 的论点在哪里得到解决。

我经常听到 Shalizi 的文章被吹捧为无法为成熟的主观贝叶斯主义辩护的铁证……但是在阅读 Shalizi 的文章几次之后,这对我来说似乎是一个永远无法适用的玩具论点观察者与正在观察的任何事物(即所有实际物理)进行交互。但 Shalizi 是一位伟大的研究人员,所以我欢迎第二个意见,因为我很可能不理解这场辩论的重要部分。

3个回答

简而言之:Yudkowsky 1:0。

Cosma Shalizi 考虑了经过一些测量的概率分布。他相应地更新概率(在这里,如果是贝叶斯推理或其他任何东西并不重要)。

毫不奇怪,概率分布的熵减少了。

然而,他得出了一个错误的结论,认为它说明了时间之箭:

这些假设逆转了时间的箭头,即它们使熵不增加。

正如评论中指出的那样,对热力学来说重要的是封闭系统的熵。也就是说,根据热力学第二定律,封闭系统的熵不能减少。它没有说明子系统(或开放系统)的熵;否则你不能使用你的冰箱。

一旦我们测量某事(即交互和收集信息),它就不再是一个封闭的系统了。要么我们不能使用第二定律,要么——我们需要考虑一个由被测系统和观察者(即我们自己)组成的封闭系统。

特别是,当我们测量粒子的确切状态时(在我们知道它的分布之前),我们确实降低了它的熵。然而,为了存储信息,我们需要将熵增加至少相同的数量(通常会有巨大的开销)。

所以 Eliezer Yudkowsky 提出了一个很好的观点:

1)测量使用工作(或至少为下一次测量做准备的擦除使用工作)。

实际上,关于工作的评论在这里并不是最重要的。虽然热力学是关于将熵与能量相关联(或交易),但您可以绕过(即我们不需要诉诸兰道尔原理沙利兹对此表示怀疑)。要收集一些新信息,您需要删除以前的信息。

为了与经典力学(以及量子力学)保持一致,你不能让一个函数任意地将任何东西映射到全零(没有副作用)。您可以制作一个函数将您的记忆映射到全零,但同时将信息转储到某个地方,这有效地增加了环境的熵。

(以上源于哈密顿动力学——即在经典情况下保持相空间,在量子情况下保持进化的统一性。)

PS:今天的一个技巧 - “减少熵”:

  • 掷一枚无偏硬币,但不要看结果(位)。H=1
  • 张开你的眼睛。现在你知道了它的状态,所以它的熵是位。H=0

Shalizi 的缺陷是非常基本的,源于假设 I,即时间演化是可逆的(可逆)。

个体状态的时间演化是可逆的。除非系统处于平衡状态,否则所有相空间上的分布的时间演化肯定是不可逆的。这篇论文处理的是整个相空间分布的时间演化,而不是单个状态的时间演化,因此可逆性的假设是完全不物理的。在平衡的情况下,结果是微不足道的。

时间之箭来自这个事实,实际上,分布的时间演化是不可逆的(梯度下降和气体扩散的原因)。众所周知,不可逆性源于“碰撞条款”

如果你考虑到这一点,他的论点就会分崩离析。信息熵 = 热力学熵,目前仍然如此。:D

链接的论文明确假设

演化算子 T 是可逆的。

但是,如果您以传统方式使用 QM,则此假设不成立。假设您有一个状态 X1,它可以以相同的概率演变为 X2 或 X3。你会说状态 X1 演变成加权集 [1/2 X2 + 1/2 X3]。Shalizi 证明了这个集合没有比 X1 更多的熵。

但是,作为观察者或作为该系统的一部分,我们只能查看其中一个分支,即 X2 或 X3。选择我们要查看的这两个分支中的哪一个会增加一点新熵,并且这种选择是不可逆的。这就是熵随时间增加的来源。Shalizi 所做的是使用所有熵都起源于量子分支的数学,然后忘记了量子分支的发生。