贝叶斯与最大熵

机器算法验证 贝叶斯 估计 最大熵
2022-03-23 01:54:34

假设我们要推断的数量是一个概率分布。我们所知道的是分布来自一个集合比如说,由它的某些时刻决定,我们有一个先验.

最大熵原理(MEP)其中相对熵最小(IE,=精氨酸D()) 是最好的选择。而贝叶斯选择规则有一个在给定先验的情况下选择后验的过程,这是由贝叶斯定理支持的。

我的问题是这两种推理方法之间是否有任何联系(即这两种方法是否适用于同一个问题,是否有共同点)?或者在贝叶斯推理中,设置是否与上述设置完全不同?还是我没有道理?!

1个回答

这可能来晚了,但问题应该改写:正如Jaynes所定义的,最大熵是一种构建先验分布的方法,该分布 (a) 满足由(b) 相对于连续情况下的参考测量具有最大熵:

-日志[π(θ)]dμ(θ).
因此,(Jaynes 的)最大熵显然是贝叶斯工具箱的一部分。正如Ashok 的问题所建议的那样,最大熵先验并没有提供最接近真实先验的先验分布。

关于分布的贝叶斯推断是一个完全不同的问题,由贝叶斯非参数处理(参见,例如, Hjort 等人最近的这本书)。它需要从以下方面进行观察,这似乎不是当前问题的设置...