在许多教科书中,当介绍贝叶斯模型(例如经典的 Normal-Normal 模型)时,都会简短地提到试验必须是可交换的。我想知道为什么这是必要的,如果可交换性不成立,会出现什么问题。有没有人有任何简洁的答案?
在贝叶斯层次模型中,如果可交换性不成立,究竟出了什么问题?
可交换性不是必需的。有些贝叶斯模型的观察结果是不可交换的。例如,天气预报或金融中的时间序列分析和预测模型。一般来说,在这些模型中,最近的观察被认为与对未来观察的推断更相关;一种“褪色的记忆”。因此,不能假设它们具有可交换性。不可更换的型号种类繁多;请参阅下面的参考资料。
可交换模型通常更容易处理,但它们可能不合适。实际上,问题不是“错误”与“正确”,而是可交换性或其他假设(如上面提到的“褪色记忆”)是否更适合或更合理地进行推断,或者计算更容易。我们必须经常在这两个方面找到平衡点。
没有“正确”或“错误”,因为没有实验可以告诉我们推理模型是否“正确”。这是归纳的基本问题,许多作者都写过。我推荐下面引用的 Hume、Johnson、Jeffreys、de Finetti、Jaynes 的作品。我们只能应用一种特定的归纳方式,形式化为统计模型,然后看看我们是否满意。这种满意度取决于许多标准,其中许多是主观的。
像 Bernardo & Smith: Bayesian Theory (Wiley 2000) 这样的文本更多地关注可交换性,但正如他们自己所说的(§ 1.4.1),他们的书并不打算涵盖贝叶斯概率论中的所有类型的推论。专门针对不可交换模型的文本例如:
R. Prado, M. West:时间序列:建模、计算和推理(CRC 2010)——如果您已经熟悉可交换模型,这应该是一个很好的近期起点。
A. Pole、M. West、J. Harrison:应用贝叶斯预测和时间序列分析(Springer 1994)
E. Greenberg:贝叶斯计量经济学导论(剑桥 2008 年)
A. Zellner:计量经济学中的贝叶斯推理简介(Wiley 1996)
GL Bretthorst:贝叶斯谱分析和参数估计(Springer 1988)http://bayes.wustl.edu/glb/bib.html
GE Box、GM Jenkins、GC Reinsel、GM Ljung:时间序列分析:预测和控制(Wiley 2016),尤其是 ch。7
W. Palma:长记忆时间序列:理论和方法(Wiley 2007),尤其是 ch。8
另请参阅 Bernardo & Smith 在第 5.6.5 节中给出的有关时间序列的大量参考资料。
关于归纳,一些有见地的文本是:
D. 休谟:人性论:尝试将推理的实验方法引入道德主题(牛津 1896 年)https://archive.org/details/treatiseofhumann00hume_0,第一册,§ III.VI
WE Johnson:概率:演绎和归纳问题,Mind 41 n。164 (1932), 409–423
WE Johnson:逻辑。第二部分:示范推理:演绎和归纳(剑桥 1922 年)https://archive.org/details/logic02john,第八章及以下
WE Johnson:逻辑。第三部分:科学的逻辑基础(剑桥,1924 年)https://archive.org/details/logic03john,附录
B. de Finetti:Foresight: Its Logical Laws, Its Subjective Sources,在 Kyburg,Smokler:研究主观概率(Krieger 1980),第 53-118 页
B. de Finetti:概率、归纳和统计:猜测的艺术(Wiley 1972),第 9 章
H. Jeffreys:概率论的现状,英国人。J.菲尔。科学。5个。20 (1955), 275–289
H. Jeffreys:科学推理(剑桥,1973 年),第一章。我
H. Jeffreys:概率论(Oxford 2003),§ 1.0
ET Jaynes:概率论:科学的逻辑(剑桥2003年)http://www-biba.inrialpes.fr/Jaynes/prob.html,http://omega.albany.edu:8008/JaynesBook.html,http : //omega.albany.edu:8008/JaynesBookPdf.html,第 9.4 节
从表示定理,我们知道可交换性本质上只是一个操作条件,它等价于条件 IID 形式(这意味着可观察值之间存在等相关)。如果这不成立,那只是意味着问题的某些结构与条件 IID 形式不兼容。这可能是某种自相关,或另一种基于顺序的相关形式(与等相关相反),或其他某种涉及统计相关性的效应,这些效应在成对的可观察对象之间不相等。