Metropolis-Hastings 的录取率 > 0.5

机器算法验证 马尔可夫链蒙特卡罗 大都会黑斯廷斯
2022-03-18 03:51:27

在老化结束后,为什么可能使 Metropolis-Hastings 接受率接近 1(例如,在探索具有过小的 SD 的正态建议分布的单峰分布时)?我在我自己的 MCMC 链中看到它,但我不明白它的意义。在我看来,达到顶峰接受率应该稳定在小于 0.5 的值附近。

2个回答

接受率很大程度上取决于提案分布。如果它的方差很小,则当前点与提案之间的概率之比必然总是接近 1,从而具有很高的接受机会。这只是因为我们通常使用的目标概率密度是小尺度的局部 Lipschitz(一种平滑),因此两个附近点的概率是相似的(非正式地)。

如果您当前的样本接近 MAP 值,则提案的接受概率将小于 1,但仍可能非常接近 1。

附带说明一下,标准做法是调整提案分布以达到 0.2-0.25 的接受率。有关此问题的讨论,请参见此处

接受概率等于 1 的简单示例是从精确目标进行模拟时:在这种情况下 虽然这听起来像是一个不切实际的例子,但真正的例子是 Gibbs 采样器,它可以被解释为 Metropolis-Hastings 步骤的序列,所有这些步骤都具有概率。

π(x)q(x,x)π(x)q(x,x)=1x,x

造成您困惑的一个可能原因是 Metropolis-Hastings 算法可能被认为是一种优化算法。该算法在更高的目标区域上花费了更多的迭代,但并不以最大值为目标。虽然对于所有,但这并不意味着具有较低目标值的值必然会被拒绝,因为提案值也很重要。π(xMAP)π(x)xq(xMAP,x)q(x,xMAP)