机器算法验证 - 归一化贝叶斯定理中无关的常数？ - 吾爱随笔录

归一化贝叶斯定理中无关的常数？

机器算法验证贝叶斯分层贝叶斯

2022-03-25 08:26:40

当我有非常好的先验知识时，我一直在回顾贝叶斯文献，试图利用贝叶斯推理进行假设检验，但有一件事我无法理解：

为什么在使用 MCMC 方法时，归一化常数在确定后验时并不重要？我知道由于积分，证据不依赖于参数，但是如果它没有积分到一个，那么你的后验如何是一个有效的概率分布（据我所知，它是归一化常数的函数）？如果它不是一个有效的概率分布（因为它仅与先验概率 X 成正比），那么它有什么用处？

我真的需要有人向我解释这件事，就好像我是一个 7 岁的孩子，或者可能是某种黑猩猩，因为我很难理解它。

2个回答

并非所有的 MCMC 方法都不需要归一化常数。然而，它们中的许多都这样做（例如 Metropolis-Hastings 算法），因为迭代过程基于比率，其中 $R(\theta_1,\theta_2)=\dfrac{\pi(\theta_1\vert x)}{\pi(\theta_2\vert x)}$

π (θ | x) = \frac{π (x | θ) π (θ)}{\int π (x | θ) π (θ) d θ} = \frac{π (x | θ) π (θ)}{π (x)},

$\pi(\theta\vert x) = \dfrac{\pi(x\vert \theta)\pi(\theta)}{\int \pi(x\vert \theta)\pi(\theta) d\theta} = \dfrac{\pi(x\vert \theta)\pi(\theta)}{\pi(x)},$

是给定样本的后验分布。因此，分母中的归一化常数不依赖于时会抵消。这是 $\theta$ $x$ $\pi(x)$ $\theta$ $R(\theta_1,\theta_2)$

R (θ_{1}, θ_{2}) = \frac{π (x | θ_{1}) π (θ_{1})}{π (x | θ_{2}) π (θ_{2})},

$R(\theta_1,\theta_2)= \dfrac{\pi(x\vert \theta_1)\pi(\theta_1)}{\pi(x\vert \theta_2)\pi(\theta_2)},$

它不涉及归一化常数，只涉及可能性和先验。 $\pi(x\vert \theta)$ $\pi(\theta)$

当忽略证据的概率时，你会得到一些东西，它与适当的后验分布成正比。

在许多情况下，您可以在计算后轻松标准化不正确（或未标准化）的后验。

这是因为一旦你得到你的结果（例如某个随机变量的边际），很容易通过对不正确的后验值求和来计算归一化常数。

例如，如果您为某个二元随机变量获得不正确的边际概率 0.2 和 0.4，您可以轻松计算归一化常数 (0.6) 并调整以获得概率为 1/3 和 2/3 的正确分布。

其它你可能感兴趣的问题

上一篇kmeans 算法的结果有多随机？下一篇解释、 F 统计量和 p 值R2R2