为什么计算贝叶斯证据很困难?

机器算法验证 贝叶斯 事先的 边际分布
2022-03-31 12:52:09

在贝叶斯估计中,我们需要计算归一化因子P(X)假设我们的参数空间是 y。然后为了计算贝叶斯证据,我们需要边缘化我们参数空间中所有可能参数的证据:

在此处输入图像描述

我不明白为什么这很难计算。这不是完全概率定律的直接应用吗?

2个回答

我喜欢@ShijiaBian 的回答。我会添加以下内容。

归一化常数很重要,因为没有它,(1)您将没有有效的概率分布,并且(2)您无法评估参数值的相对概率。例如,如果您将数据为条件的高斯条件,则您将无法对参数值的似然度进行平均,因为两个 PDF 内核乘积的无限总和不提供封闭形式。数学上:xtθ

p(θ)=Poisson(λ)p(xt|θ)=N(θ,σ2)p(θ|X)=p(θ)tp(xt|θ)Θp(θ)tp(xt|θ)

展开分子,你会发现:

p(θ|X)1θ!λθ(2πσ2)T/2texp[12σ2(xt22θxt+θ2)λT]

要规范化此函数,您必须对的所有可能(离散)值求和:这在分析上是不可能的,因为对于上述形式的无限和,没有封闭形式的表达式。但是,如果您不这样做,您的函数将不会积分为,并且您将没有有效的概率密度。此外,规范化确保对于的每个值,您可以准确地确定的其他值的相对概率θ0,1,2,,1θ=θθθ

的值进行标准化,例如从,那么您无法比较该范围外的值与该范围内的值的可能性有多大。然而,这确实表明,如果您对可能受到限制的值范围有一些信念,您可以将您的分布截断到该范围并在该范围内以数字方式执行求和,例如的值范围内获得有效的概率分布(截断的泊松)然而,这要困难得多,当θ010θθ010010θ是连续的(例如,Beta 或 Gamma 分布),尽管您可以执行数值积分。然而,数值积分在高维中是困难的,因此您必须将的维数限制在计算上可行的范围内。θ

后验分布与总概率定律无关,尽管它们看起来相似。

给定的是归一化常数。这很难计算的原因是因为1)。共轭性质只能应用于某些特定的分布;2)。先验和似然函数可以是高维的,很难整合;3)。积分可能不是封闭形式。PX(x)

这就是为什么重采样方法必须在贝叶斯逼近中发挥作用的原因。