我一直在阅读 James V. Stone 的非常好的书籍《贝叶斯法则》和《信息论》。我想知道书的哪些部分我不明白,因此需要进一步重新阅读。我写下的以下注释似乎自相矛盾:
- MLE 总是对应于统一先验(统一先验的 MAP 就是 MLE)。
- 有时统一的先验是不可能的(当数据缺少上限或下限时)。
- 使用 MLE 而不是 MAP 的非贝叶斯分析基本上回避或忽略了对先验信息建模的问题,因此总是假设没有先验信息。
- 非信息性(也称为参考)先验对应于最大化后验和先验之间的 Kullback-Leibler 散度,或者等效于参数和随机变量之间的互信息。
- 有时参考先验并不统一,它也可以是 Jeffreys 先验。
- 贝叶斯推理总是使用 MAP,非贝叶斯推理总是使用 MLE。
问题:以上哪个是错误的?
即使非贝叶斯分析并不总是对应于“总是使用 MLE”,那么 MLE 估计是否总是对应于贝叶斯推理的特殊情况?
如果是这样,在什么情况下是特殊情况(统一或参考先验)?
根据 CrossValidated 上对问题[1] [2] [3] [4]的回答,似乎 1. 以上是正确的。
我问的上一个问题的共识似乎是非贝叶斯分析不能简化为贝叶斯分析的特例。因此我的猜测是上面的 6. 是不正确的。