为什么贝叶斯推理中的后验分布通常难以处理?

机器算法验证 贝叶斯 推理
2022-01-27 00:14:40

我很难理解为什么贝叶斯推理会导致棘手的问题。问题通常是这样解释的:

在此处输入图像描述

我不明白为什么必须首先评估这个积分:在我看来,积分的结果只是一个归一化常数(如数据集 D 所示)。为什么不能简单地将后验分布计算为右手边的分子,然后通过要求后验分布上的积分必须为 1 来推断这个归一化常数?

我错过了什么?

谢谢!

2个回答

为什么不能简单地将后验分布计算为右手边的分子,然后通过要求后验分布上的积分必须为 1 来推断这个归一化常数?

这正是正在做的事情。后验分布是

P(θ|D)=p(D|θ)P(θ)P(D).

右边的分子是这是一个关于的函数,并且是一个概率分布,它必须积分为 1。因此我们需要找到常数,这样P(D|θ)P(θ)θc

θcP(D|θ)P(θ)dθ=1θcP(D,θ)dθ=1cP(D)=1c=1P(D).

因此,归一化常数是,这通常是难以处理的,或者过于复杂。P(D)

我有同样的问题。这篇很棒的帖子很好地解释了它。

简而言之。这是难以处理的,因为分母必须评估𝜃的所有可能值的概率;在大多数有趣的情况下,ALL是一个很大的数量。而分子用于 𝜃 的单一实现。

见方程式。4-8在后。链接截图:

这是链接的屏幕截图