在贝叶斯层次模型中,如果可交换性不成立,究竟出了什么问题?

机器算法验证 贝叶斯 造型 直觉 可交换性
2022-04-01 00:05:28

在许多教科书中,当介绍贝叶斯模型(例如经典的 Normal-Normal 模型)时,都会简短地提到试验必须是可交换的。我想知道为什么这是必要的,如果可交换性不成立,会出现什么问题。有没有人有任何简洁的答案?

2个回答

可交换性不是必需的。有些贝叶斯模型的观察结果是不可交换的。例如,天气预报或金融中的时间序列分析和预测模型。一般来说,在这些模型中,最近的观察被认为与对未来观察的推断更相关;一种“褪色的记忆”。因此,不能假设它们具有可交换性。不可更换的型号种类繁多;请参阅下面的参考资料。

可交换模型通常更容易处理,但它们可能不合适。实际上,问题不是“错误”与“正确”,而是可交换性或其他假设(如上面提到的“褪色记忆”)是否更适合或更合理地进行推断,或者计算更容易。我们必须经常在这两个方面找到平衡点。

没有“正确”或“错误”,因为没有实验可以告诉我们推理模型是否“正确”。这是归纳的基本问题,许多作者都写过。我推荐下面引用的 Hume、Johnson、Jeffreys、de Finetti、Jaynes 的作品。我们只能应用一种特定的归纳方式,形式化为统计模型,然后看看我们是否满意。这种满意度取决于许多标准,其中许多是主观的。

像 Bernardo & Smith: Bayesian Theory (Wiley 2000) 这样的文本更多地关注可交换性,但正如他们自己所说的(§ 1.4.1),他们的书并不打算涵盖贝叶斯概率论中的所有类型的推论。专门针对不可交换模型的文本例如:

  • R. Prado, M. West:时间序列:建模、计算和推理(CRC 2010)——如果您已经熟悉可交换模型,这应该是一个很好的近期起点。

  • A. Pole、M. West、J. Harrison:应用贝叶斯预测和时间序列分析(Springer 1994)

  • E. Greenberg:贝叶斯计量经济学导论(剑桥 2008 年)

  • A. Zellner:计量经济学中的贝叶斯推理简介(Wiley 1996)

  • GL Bretthorst:贝叶斯谱分析和参数估计(Springer 1988)http://bayes.wustl.edu/glb/bib.html

  • GE Box、GM Jenkins、GC Reinsel、GM Ljung:时间序列分析:预测和控制(Wiley 2016),尤其是 ch。7

  • W. Palma:长记忆时间序列:理论和方法(Wiley 2007),尤其是 ch。8

另请参阅 Bernardo & Smith 在第 5.6.5 节中给出的有关时间序列的大量参考资料。

关于归纳,一些有见地的文本是:

表示定理,我们知道可交换性本质上只是一个操作条件,它等价于条件 IID 形式(这意味着可观察值之间存在等相关)。如果这不成立,那只是意味着问题的某些结构与条件 IID 形式不兼容。这可能是某种自相关,或另一种基于顺序的相关形式(与等相关相反),或其他某种涉及统计相关性的效应,这些效应在成对的可观察对象之间不相等。