什么是后验预测检查,是什么让它们有用?

机器算法验证 贝叶斯 模型选择 后部
2022-02-11 12:34:26

我了解后验预测分布是什么,并且我一直在阅读有关后验预测检查的内容,尽管我还不清楚它的作用。

  1. 后验预测检查到底是什么?
  2. 为什么有些作者说运行后验预测检查是“使用数据两次”并且不应该被滥用?(甚至它不是贝叶斯)?(例如看到这个这个
  3. 这个检查到底有什么用?真的可以用来选型吗?(例如,它是否同时考虑适应度和模型复杂性?)
1个回答

简单来说,后验预测检查是“在拟合模型下模拟复制数据,然后将这些数据与观察到的数据进行比较”(Gelman 和 Hill,2007 年,第 158 页)。因此,您使用后验预测来“寻找真实数据和模拟数据之间的系统差异”(Gelman et al. 2004, p. 169)。

关于“使用数据两次”的论点是您使用数据来估计模型,然后检查模型是否适合数据,虽然通常这是一个坏主意,最好在外部数据上验证您的模型,未用于估计。

后验预测检查有助于评估您的模型是否为您提供关于现实的“有效”预测——它们是否符合观察到的数据。这是模型构建和检查的有用阶段。它并没有给你一个明确的答案,说明你的模型是“ok”还是比其他模型“更好”,但是,它可以帮助你检查你的模型是否有意义。

这在LaplacesDemon vignette Bayesian Inference中有很好的描述:

比较预测分布yrep对观测数据y通常称为“后验预测检查”。与常客统计不同,这种类型的检查包括与模型估计参数相关的不确定性。

后验预测检查(通过预测分布)涉及数据的双重使用,这违反了似然原则。然而,已经提出了支持后验预测检查的论据,前提是使用仅限于用于研究模型充分性的差异测量,而不是用于模型比较和推断(Meng 1994)。

格尔曼建议在最基本的层面上进行比较yrepy,寻找任何可能表明模型潜在故障的系统差异(Gelman et al. 2004, p. 159)。通常首先建议比较图形图,例如 yyrep.