我们如何验证这样的直觉:在 RW-Metropolis-Hastings 算法中,高斯提议太小和太大的方差都是不好的选择

机器算法验证 马尔可夫链蒙特卡罗 马尔科夫过程 大都会黑斯廷斯 随机游走 最佳缩放
2022-04-13 15:25:38

dN并考虑具有高斯提议内核的随机游走 Metropolis-Hastings 算法Q这样Q(x,)=Nd(x,σd2Id)对所有人xRd.

直觉上,如果σ太小,几乎所有的提案都会被接受,并且链条移动非常缓慢。另一方面,如果σ太大,建议的移动通常会远离当前状态,因此大多数建议将被拒绝。

考虑到这一点,建模是有意义的σd作为的减函数d. 我们可以设置σd=/dα对于一些α[0,1]. 在他作品的第 6 页(论文编号),罗伯茨提到选择α=1/2是“最佳的”(在什么意义上?)。

我们如何严格地证明这一点?

我发现的演示文稿的幻灯片 18似乎是相关的,但我不明白他们是如何得出结论的介绍

1个回答

Gareth Roberts 等人的原始方法。是研究第一个坐标过程的极限分布Xn(1), 加速了一个因素d. 这导致了限制过程Zt=Xtd(1).

  • 如果你把α<1/2(大步),可以证明渐近地没有一个提议的移动将被接受,所以这个过程(Zt)几乎可以肯定是恒定的。
  • 同样,如果α>1/2(小步),渐近所有的移动都将被接受,但移动是如此之小,所以再次限制过程(Zt)几乎可以肯定是恒定的。
  • 最后,只为α=1/2,我们得到一个非平凡的限制过程(恰好是朗之万扩散)。

这是其中的方式α=1/2可以认为是最优选择。有关此结果的更准确的陈述和证明,请参阅非常易读的原始研究论文。

Roberts, GO, Gelman, A., & Gilks​​, WR (1997)。随机游走 Metropolis 算法的弱收敛和最优缩放。应用概率年鉴,7(1),110-120。https://doi.org/10.1214/aoap/1034625254

结果随后以各种方式扩展:例如查看高维过程的不同函数(而不是第一个坐标),以及更一般的分布假设。还研究了不同的 Metropolis-Hastings 算法,例如 MALA 算法,它被证明只需要时间加速d1/3代替d为了收敛。您正在阅读的调查报告中也对此进行了讨论。