如果我们已经知道后验分布,为什么还要从后验分布中采样?

机器算法验证 贝叶斯 推理 模拟 马尔可夫链蒙特卡罗 后部
2022-02-01 09:37:09

我的理解是,当使用贝叶斯方法估计参数值时:

  • 后验分布是先验分布和似然分布的组合。
  • 我们通过从后验分​​布生成样本来模拟这一点(例如,使用 Metropolis-Hasting 算法生成值,如果它们高于某个概率阈值以属于后验分布,则接受它们)。
  • 一旦我们生成了这个样本,我们就用它来近似后验分布,以及它的平均值。

但是,我觉得我一定是误会了什么。听起来我们有一个后验分布,然后从中采样,然后将该样本用作后验分布的近似值。但是,如果我们一开始就有后验分布,为什么我们需要从中采样来近似它呢?

2个回答

这个问题可能已经在这个论坛上考虑过了。

当你说你“有后验分布”时,你到底是什么意思?“拥有”一个我知道与后验成正比例如完全人工目标没有告诉我什么是θ

π(θ|x)π(θ)×f(x|θ)
π(θ|x)exp{||θx||2||θ+x||4||θ2x||6},  x,θR18,

  1. 的函数的后验期望,例如,在标准损失下作为贝叶斯估计器运行的后验均值;θE[h(θ)|x]
  2. 任意效用函数下的最优决策,最小化预期后验损失的决策;
  3. 参数的 90% 或 95% 范围的不确定性、参数的子向量或参数的函数,即 HPD 区域
    {h=h(θ); πh(h)h_}
  4. 在将参数的某些组件设置为特定值与保持未知(和随机)之间进行选择的最有可能的模型。

这些只是后验分布的许多用法的示例。在所有情况下,除了最简单的情况,我无法通过盯着后验分布密度来提供答案,并且确实需要通过蒙特卡罗和马尔可夫链蒙特卡罗方法等数值分辨率来进行。

是的,您可能有一个分析后验分布。但是贝叶斯分析的核心是边缘化参数的后验分布,以便在准确性和泛化能力方面获得更好的预测结果。基本上,您想要获得具有以下形式的预测分布。

p(x|D)=p(x|w)p(w|D)dw

在哪里p(w|D)是您可能具有分析形式的后验分布。但在很多情况下,p(w|D)有一个复杂的形式,不属于任何已知的分布家族,也不与p(x|w). 这使得上述被积函数无法解析计算。然后你必须求助于被积函数的采样近似,这是高级采样技术(如马尔可夫链蒙特卡罗)的全部目的