块吉布斯采样的收敛结果?

机器算法验证 采样 马尔可夫链蒙特卡罗 吉布斯
2022-04-11 07:24:12

假设您有一些复杂的模型要通过马尔可夫链蒙特卡洛进行采样。在许多类型的情况下,您可以将变量分为两组,并根据其他组有效且准确地对一组变量进行采样。也就是说,我们可以从

p(x|y)

p(y|x)

因此,我们将通过重复绘制 y 来运行 Gibbs 采样器。xp(x|y)yp(y|x)

示例包括受限玻尔兹曼机、某些图像模型中的高斯混合比例以及一些贝叶斯模型(一个块用于状态,一个块用于参数)。无论如何,在实践中,能够实现块吉布斯采样似乎可以更快地混合马尔可夫链。但是,这有什么理论结果吗?据推测,这两个分布需要满足某些条件,这将导致电导的界限或某种耦合提前致谢!

1个回答

比什么快得多?单变量吉布斯抽样?

从 Tanner 和 Wong (1987, JASA) 开始,两阶段 Gibbs 抽样无疑是研究最多的 Gibbs 抽样类型。尤其是 Liu、Wong 和 Kong (1994, Biometrika) 的一篇非常成功的论文,它表明(和)之间的相关性是(a)正和(b)下降到零单调的。XtYt

阻塞吉布斯采样通常比一次一次吉布斯采样更有效,但我不知道一般结果会这样说。特别是,用辅助变量增加维度可能会提高收敛性,参见最近JCGS中的Xiao-Li Meng的工作作为说明。

这是另一个论坛上的一个条目,它带来了额外的参考。