调用最大熵的理由

机器算法验证 随机过程 最大熵
2022-04-05 01:00:12

我觉得 ME 很有趣,但我对在现实世界中何时应该调用它感到困惑。我担心 ME 的效用被夸大了,尽管我非常高兴能减轻这种担忧。让我详细说明一下我的想法:假设我有一组数据。从这些我可以测量它们的方差,并且有了这个数字,我可以在结果与我测量的方差匹配的约束条件下最大化熵。然后我将获得正态分布。但是,在此基础上,我真的应该相信正态分布是对我的数据的适当描述吗?我想不是。如果我选择测量数据的其他质量怎么办,我不知道,可能是峰度或平均绝对偏差,或者其他什么,然后调用 ME 会产生不同的分布。同样的数据,生成数据的过程相同,但现在,突然之间,根据我选择的测量值,似乎暗示了不同的分布。对我来说,这不是分析通常的工作方式。如果我有数据,我可以测量方差,当然,但我可能想调用中心极限定理来证明使用法线而不是 ME 的合理性。所以我想知道,在实际世界中,已经掌握了数据,在什么情况下会真正调用非常有吸引力的最大熵概率分布数学?不是我。所以我想知道,在实际世界中,已经掌握了数据,在什么情况下会真正调用非常有吸引力的最大熵概率分布数学?不是我。所以我想知道,在实际世界中,已经掌握了数据,在什么情况下会真正调用非常有吸引力的最大熵概率分布数学?

1个回答

首先,我试图对这个问题发表评论,但我不能,因为我没有(仍然没有)50 声望,所以我将我的意见作为答案发布,尽管我知道这不是一个完整的答案问什么。。


贝叶斯概率框架上,概率被认为是“置信度”,即在不完整信息的情况下断言的“最合理”的合理性度量(1)。

在这种情况下,可以证明 ( 2 )最大熵原理是在遇到限制其知识的新信息时(例如,更多数据)。所以这就是我所看到的最大熵。

但是,您的问题是对先验的担忧,这是一个更加微妙的问题。这或多或少是哲学、认识论问题的领域:有些人会争辩说,先验是无意义的,因为科学是非常确定的,不能给主观性留出空间;另一方面,其他人会争辩说它是真正主观的,没有抱怨,因为我们永远无法接触到我们研究对象的“真实性质”。

我更愿意通过说我们通常无法访问我们事件的客观、机械描述来证明贝叶斯主观性和先验是正确的——或者也许我们有,但我们不想!(因为自由度多,计算能力低等等)。在这些情况下,我们利用我们拥有的关于问题的每一条关键信息而不是数据!):无论是对称性、矩还是其他任何东西,以便我们可以将我们的知识编码为概率并在此基础上对其进行更新的更多数据。


代表贝叶斯和熵推理,我将通过引用伯特兰·罗素的话来解释这些被错误理解的主题背后的原因:

我想提出一个学说供读者考虑,我担心它可能显得极其矛盾和颠覆性。所讨论的学说是这样的:当一个命题没有任何理由可以假设它是真的时,相信它是不可取的。

伯特兰·罗素,在《怀疑论》中

要点是我们不能使用我们没有的信息,也不能忽略我们构建先验时拥有的信息。必须考虑所有知识。


我必须为我糟糕的英语道歉,我不是母语人士,有时(很多次)我写一些东西认为他们是对的,但事实并非如此。如果有人指出我的错误,我将不胜感激^^