为什么共轭先验的混合很重要?

机器算法验证 贝叶斯 条件概率 分层贝叶斯 共轭先验 指数族
2022-03-19 14:14:33

我对共轭先验的混合有疑问。当我学习贝叶斯时,我曾多次学习并看到过共轭先验的混合。我想知道为什么这个定理如此重要,当我们进行贝叶斯分析时我们将如何应用它。

更具体地说,来自 Diaconis 和 Ylivisaker 1985 的一个定理说明了这样一个定理:

给定来自指数族的采样模型p(y|θ)

更具体地说,给定先验,我们可以推导出后验:p(θ)=p(θ|ω)p(ω)dω

p(θ|Y)p(Y|θ)p(θ|ω)p(ω)dωp(Y|θ)p(θ|ω)p(Y|ω)p(Y|ω)p(ω)dωp(θ|Y,ω)p(Y|ω)p(ω)dω

所以,

p(θ|Y)=p(θ|Y,ω)p(Y|ω)p(ω)dωp(Y|ω)p(ω)dω

2个回答

直接计算具有一般/任意先验的后验可能是一项艰巨的任务。

另一方面,用共轭先验的混合计算后验相对简单,因为给定的先验混合变成了相应后验的相同混合。

[在许多情况下,某些给定的先验可能很好地近似于共轭先验的有限混合——这使得在许多情况下非常容易应用和实用的方法,这导致近似后验可能非常接近确切地说。]

为了稍微扩展@Glen_b 的答案,一个含义是,当使用非共轭先验时,我们可以通过首先用共轭先验的混合物近似非共轭先验,然后直接求解近似的后验。

但是,总的来说,这种方法似乎很难使用。虽然确实可以使混合先验任意接近非共轭先验,但在任何有限近似中通常都会存在一些错误。先验中的小错误很容易传播到后验中的大错误。例如,如果先验除了极尾之外都很好地近似,但数据提供了强有力的证据表明参数值在极尾,则先验极尾上的这些错误将导致后部。