我对共轭先验的混合有疑问。当我学习贝叶斯时,我曾多次学习并看到过共轭先验的混合。我想知道为什么这个定理如此重要,当我们进行贝叶斯分析时我们将如何应用它。
更具体地说,来自 Diaconis 和 Ylivisaker 1985 的一个定理说明了这样一个定理:
给定来自指数族的采样模型
更具体地说,给定先验,我们可以推导出后验:
所以,
我对共轭先验的混合有疑问。当我学习贝叶斯时,我曾多次学习并看到过共轭先验的混合。我想知道为什么这个定理如此重要,当我们进行贝叶斯分析时我们将如何应用它。
更具体地说,来自 Diaconis 和 Ylivisaker 1985 的一个定理说明了这样一个定理:
给定来自指数族的采样模型
更具体地说,给定先验,我们可以推导出后验:
所以,
直接计算具有一般/任意先验的后验可能是一项艰巨的任务。
另一方面,用共轭先验的混合计算后验相对简单,因为给定的先验混合变成了相应后验的相同混合。
[在许多情况下,某些给定的先验可能很好地近似于共轭先验的有限混合——这使得在许多情况下非常容易应用和实用的方法,这导致近似后验可能非常接近确切地说。]
为了稍微扩展@Glen_b 的答案,一个含义是,当使用非共轭先验时,我们可以通过首先用共轭先验的混合物近似非共轭先验,然后直接求解近似的后验。
但是,总的来说,这种方法似乎很难使用。虽然确实可以使混合先验任意接近非共轭先验,但在任何有限近似中通常都会存在一些错误。先验中的小错误很容易传播到后验中的大错误。例如,如果先验除了极尾之外都很好地近似,但数据提供了强有力的证据表明参数值在极尾,则先验极尾上的这些错误将导致后部。