调整 MALA (Metropolis-adjusted Langevin) 提案

机器算法验证 采样 马尔可夫链蒙特卡罗 大都会黑斯廷斯 随机游走 朗之万扩散
2022-03-24 17:50:51

我想实现一个版本的 Metropolis-adjusted Langevin 采样,但我不确定如何调整提案密度的参数。

我的理解是,在 MALA 中,提案生成为: 其中是目标密度和

X=X+τlogπ(X)+2τξ
π(X)ξNormal(0,Σ)

现在,关于这个提案密度,似乎有两件事需要“调整”。第一个是步长,在我看来,它主要控制梯度的影响(即你在导数方向上漂移了多少)。我如何确定这个步长的合适值(并且可以独立于提案中的其他术语来完成)?τ

第二个是“朗之万漂移”周围的“噪声”我认为这通常可以是对角线的(因为渐变已经为提案提供了所需的方向性,但请在此纠正我),但我试图弄清楚如何设置它的一般比例,以及是否有必要调整不同参数(即沿对角线的元素)的方差分别?也就是说,如果我的目标密度在某些维度上相对较窄,我是否需要对此进行调整,或者是否也通过包含梯度项以某种方式处理?Σ

到目前为止,我还没有找到任何关于如何调整这些参数的实用参考资料(主要是关于 MALA 等更复杂变体的论文),所以我将不胜感激任何指针或建议!

0个回答
没有发现任何回复~