有一个共轭先验:深层属性还是数学意外?

机器算法验证 贝叶斯 数理统计 共轭先验
2022-02-02 12:46:45

有些分布有共轭先验,有些则没有。这种区别只是偶然吗?也就是说,您进行数学运算,它以一种或另一种方式计算出来,但除了事实本身之外,它并没有真正告诉您有关分布的任何重要信息?

还是共轭先验的存在或不存在反映了分布的某些更深层次的属性?具有共轭先验的分布是否具有其他一些有趣的属性或其他分布缺乏的属性,这些属性会导致这些分布而不是其他分布具有共轭先验?

3个回答

这不是偶然的。在这里,您将找到关于共轭先验的简短评论。具体来说,它提到如果给定似然函数存在一组足够的固定维度的统计量,那么您可以在它之前构造一个共轭。拥有一组足够的统计数据意味着您可以将可能性分解为一种可以让您以计算有效的方式估计参数的形式。

除此之外,具有共轭先验不仅在计算上方便。它还提供平滑,并允许使用非常少的样本或没有以前的样本,这对于决策等问题是必要的,在您没有证据的情况下。

我对贝叶斯统计很陌生,但在我看来,所有这些分布(如果不是全部,那么至少是那些有用的分布)共享一个属性,即它们由一些关于定义它们的观察的有限度量来描述. 即,对于正态分布,您不需要知道每个观察的每个细节,只需要知道它们的总数和总和。

换句话说,假设您已经知道分布的类别/家族,那么分布的信息熵严格低于导致它的观察结果。

这看起来微不足道,还是您正在寻找的东西?

什么属性是“深的”是一个非常主观的问题!所以答案取决于你对“深度”的概念。但是,如果从某种意义上说,具有共轭先验是一个“深”的属性,那么这种意义是数学的而不是统计的。(一些)统计学家对共轭先验感兴趣的唯一原因是它们简化了一些计算。但这对于过去的每一天来说都不那么重要了!

 EDIT

试图在下面回答@whuber 评论。首先,答案需要更准确地问什么是共轭先验族?它意味着一个在采样下是封闭的族,因此,(对于给定的采样模型),先验分布和后验分布属于同一个族。对于所有分布的家族来说,这显然是正确的,但是这种解释使问题没有内容,所以我们需要一个更有限的解释。此外,正如Diaconis & Ylvisaker所指出的,对于二项式模型,如果我们让h是一个有界正函数[0,1]f(p;α,β)那么是贝塔密度h(p)f(p;α,β)是一个共轭先验。它缺乏通常的 beta 共轭先验的一些属性,但它生成的族在采样下是封闭的,因此是一个共轭先验。我们没有很好的封闭公式,但我们只需要一次数值积分即可获得归一化常数。

现在,通常的 beta 先验密度还有一个更重要的属性:后验期望是一个线性函数:

E{E(θX=x)}=ax+b
(对于一些a,b)。相应的属性适用于指数族中的“通常”共轭先验,请参阅Diaconis & Ylvisaker因此,从这个意义上说,通常的共轭族在贝叶斯统计中的作用类似于经典统计中的高斯-马尔可夫定理(请参阅线性回归中高斯-马尔可夫定理的作用):它是线性方法的证明。

还有另一种观点导致通常的共轭家庭。如果我们将先验信息视为来自某些先验数据(来自同一采样分布族)的信息,那么我们可以将此信息合并为先验似然函数然后我们可以通过将先验似然与数据似然相乘得到一个组合似然函数。相反,我们可以选择通过先验分布来表示先验数据信息,“通常的”共轭先验是提供prior×likelihood与上面的组合可能性成正比。请参阅https://en.wikipedia.org/wiki/Conjugate_prior ,其中此解释用于对列出的(通常)共轭族中的参数进行先前的数据解释。

因此,总而言之,指数族中通常的共轭族可以被证明是导致线性方法的先验,或者作为来自表示先验数据的先验。希望这个扩展答案有帮助!