对于严格的正参数,Metropolis-Hastings 的好的建议分布是什么?

机器算法验证 贝叶斯 马尔可夫链蒙特卡罗 大都会黑斯廷斯
2022-03-20 00:45:34

Metropolis-Hastings抽样中,需要有一个提案分布g(θnew|θold,λ), 在哪里θold是链中最后一个接受的样本,并且θnew是一个新提出的样本。样本来自g然后将其转换为接受概率(提议步骤)以供后续在移动步骤中使用。例如,g通常选择具有均值的多元正态θold和方差-协方差矩阵λ.

我有一个参数θ这是一个精度(或比例或方差),因此θ>0是对参数空间的约束。线程讨论了这种情况下的各种选项。我找到了使用函数的最佳选择g它只从允许的参数空间中提出样本。

我的问题是:在这种情况下,哪些是常用的分布?以及,提案分布应如何以θold?

例如,我可以想象制服U(0,b)分发可能有用,但我不知道如何选择b或如何以条件为条件θold(即在我的情况下最后接受的精度/方差)。

替代方法可以是 Gamma 或逆 Gamma,例如Gam(a,b),但随之而来的问题是如何选择ab以及如何将它们链接到θold.

1个回答

最自然 [和通用] 的解决方案 [imo] 是转θ进入η=logθ在原来的问题中,使得η是不受约束的。这允许使用像 Metropolis 等人的随机游走建议。唯一的警告是先验必须通过雅可比合并变量的变化:

πη(η)=πθ(exp{η})×exp{η}
警告:如果使用适当的 Metropolis 比率,该提议仅相当于在原始参数化中提议对数正态新值 [在原始参数化中,提议不再是随机游走]。(请注意,变量的指数变化将可能性变成,没有雅可比行列式!)p(D|θ,ν)p(D|exp{η},ν)

否则,可以选择一个 Uniform提议,如 Hastings (1970) 中的提议,有可能提出负面的[因此肯定会被拒绝]值。U(θoldϵ,θold+ϵ)