平坦、共轭和超先验。这些是什么?

机器算法验证 贝叶斯 事先的
2022-01-27 08:18:34

我目前正在阅读 Yang 的关于计算分子进化中的贝叶斯方法的文章。在第 5.2 节中,它讨论了先验,特别是非信息/平坦/模糊/漫射、共轭和超先验。

这可能要求过于简单化,但是,有人可以简单地解释这些类型的先验之间的区别以及这如何影响我在贝叶斯分析过程中做出的分析/决策的结果吗?

(我不是统计学家,我刚刚开始学习贝叶斯分析,所以用外行的话越多越好)

2个回答

简而言之,当一个人对数据知之甚少/不了解时,使用平坦/非信息性先验,因此它对分析结果的影响最小(即后验推断)。

共轭分布是先验分布和后验分布相同的分布,先验称为共轭先验。它因其代数便利性而受到青睐,尤其是当可能性具有指数族(高斯、贝塔等)形式的分布时。这在使用 Gibbs 采样进行后验模拟时非常有益。

最后想象一下,在模型中的参数上设置了先验分布,但是您想添加另一个级别的复杂性/不确定性。然后,您将对上述先验的参数施加先验分布,因此称为先验。

我认为 Gelman 的贝叶斯数据分析对于任何有兴趣学习贝叶斯统计的人来说都是一个很好的开始:)

在最高层次上,我们可以将各种先验视为指定研究人员在数据本身之外的分析中使用的一些信息:在查看数据之前,哪些参数值更有可能?

在贝叶斯分析的黑暗时代,当贝叶斯主义者与常客进行斗争时,人们相信研究人员希望通过先验尽可能少地将信息引入分析。因此,有很多研究和争论致力于理解先验如何以这种方式“不提供信息”。今天,Gelman 在贝叶斯数据分析中反对自动选择非信息性先验“非信息性”描述反映了他对先验的态度,而不是先验的任何“特殊”数学特征。(此外,早期文献中有一个问题是先验在多大程度上是非信息性的。我认为这对您的问题并不特别重要,但是从频率论者的角度来看,这个论点的一个很好的例子,请参见开头加里·金,统一政治方法论。

“平坦”先验表示统一的先验,其中范围内的所有值均等可能。同样,关于这些是否真的是非信息性的,还有一些争论,因为指定所有值均等可能在某种程度上是信息,并且可能对模型的参数化方式很敏感。平坦先验在贝叶斯分析中有着悠久的历史,可以追溯到贝叶斯和拉普拉斯。

“模糊”先验是高度分散的,但不一定是平坦的,它表示大范围的值是合理的,而不是将概率质量集中在特定范围附近。本质上,它是具有高方差的先验(无论“高”方差在您的上下文中意味着什么)。

共轭先验具有方便的特征,即当乘以适当的可能性时,它们会产生封闭形式的表达式。其中一个示例是具有二项似然的 beta 先验,或具有泊松似然的 gamma 先验。Internet 和 Wikipedia 上都有这些有用的表格。指数族在这方面非常方便。

共轭先验通常是某些问题的“默认”选择,因为它们具有方便的属性,但这并不一定意味着它们是“最好的”,除非一个人的先验知识可以通过共轭先验来表达。计算的进步意味着共轭性不再像以前那样受到重视(参见 Gibbs 抽样与 NUTS),因此我们可以更轻松地使用非共轭先验进行推理,而不会遇到太多麻烦。

超先验是先验的先验。这意味着,而不是指定,比如说,一个N(μ,σ2)先于固定的参数μσ2, 你可以表达参数的先验μ和参数的先验σ2. 大多数情况下,这用于分层建模,当您认为所有有问题的数据点都有一个共同特征时(例如,因为您正在对同一实验的重复进行统计分析),并且数据被解释为是由从这个共同分布到数据点的参数随机分配引起的。