将可能性乘以常数会改变使用 MCMC 的贝叶斯推理吗?

机器算法验证 贝叶斯 马尔可夫链蒙特卡罗
2022-04-18 06:07:51

对于数值贝叶斯推断,我们有后验~先验*似然。在 MCMC 中,我们不需要计算贝叶斯规则中的分母。我的问题是,我可以将可能性乘以一个大常数,同时确保后验仍然相同吗?

2个回答

当您将可能性乘以先验时,结果函数可能不再积分为,因此您需要知道归一化常数来解析求解后验。1

MCMC 以与后验密度(或任何点的分布高度)成正比的频率随机采样,实际上并不知道它。因此,为什么在通过 MCMC 经验估计后验时不需要知道归一化常数。

所以理论上,将可能性乘以某个常数不应该影响 MCMC。但是,您可能会遇到计算问题或数值不稳定。

这不仅是允许的,而且你得到的倍数仍然是一个有效的似然函数。 一个有效的似然函数由以下要求定义: ) )。将似然函数乘以不依赖于参数向量的正值会保持此比例要求不变,因此结果是另一个有效的似然函数。虽然我们通常提到“the”似然函数,但这实际上是定义为正乘法常数的一类函数。Lx(θ)p(x|θ)

使用似然函数(与采样密度相反)的 MCMC 方法应正确设置以允许似然函数的任何实例,因此在这种情况下乘以常数并不重要。此外,乘以常数甚至不会改变您仍在使用有效似然函数的事实。