“完全贝叶斯”与“贝叶斯”

机器算法验证 贝叶斯
2022-02-05 18:11:59

一直在学习贝叶斯统计,经常看文章

“我们采用贝叶斯方法”

或类似的东西。我还注意到,不太常见:

“我们采用完全贝叶斯方法”

(我的重点)。在任何实践或理论意义上,这些方法之间有什么区别吗?FWIW,如果相关,我正在使用MCMCglmmR 中的包。

4个回答

术语“完全贝叶斯方法”只不过是一种表示从“部分”贝叶斯方法转变为“真正的”贝叶斯方法的方式,具体取决于上下文。或者将“伪贝叶斯”方法与“严格”贝叶斯方法区分开来。

例如,一位作者写道:“与通常对 RVM 使用经验贝叶斯方法的大多数其他感兴趣的作者不同,我们采用完全贝叶斯方法”,因为经验贝叶斯方法是一种“伪贝叶斯”方法。还有其他伪贝叶斯方法,例如贝叶斯频率预测分布(分位数与频率预测区间的边界匹配的分布)。

本页中,介绍了几个用于贝叶斯推理的 R 包。MCMCglmm 被呈现为“完全贝叶斯方法”,因为与其他包相反,用户必须选择先验分布。

“完全贝叶斯”的另一个可能含义是当人们执行从贝叶斯决策理论框架派生的贝叶斯推理时,即从损失函数派生,因为贝叶斯决策理论是贝叶斯推理的坚实基础框架。

我认为该术语用于区分贝叶斯方法和经验贝叶斯方法。完全贝叶斯使用指定的先验,而经验贝叶斯允许通过使用数据来估计先验。

我会使用“完全贝叶斯”来表示任何讨厌的参数都已从分析中被边缘化,而不是优化(例如 MAP 估计)。例如,一个高斯过程模型,其超参数被调整为最大化边际似然,将是贝叶斯,但只是部分如此,而如果定义协方差函数的超参数使用超先验整合出来,那将是完全贝叶斯.

“贝叶斯”实际上意味着“近似贝叶斯”。

“完全贝叶斯”也意味着“近似贝叶斯”,但近似程度较低。

编辑:澄清。

对于给定的模型和数据,完全贝叶斯方法是使用贝叶斯规则计算后验概率 除了非常简单的模型外,它的计算复杂度太大,需要近似。更准确的近似值,例如对所有参数使用带有 Gibbs 采样的 MCMC ,有时被称为“完全贝叶斯”。不太准确的近似,例如对某些参数使用点估计,不能称为“完全贝叶斯”。一些近似推理方法介于两者之间,例如变分贝叶斯或期望传播,它们有时(很少)也称为“完全贝叶斯”。

p(θData)p(Dataθ)p(θ).
θ