切片抽样是吉布斯抽样的特例吗?

机器算法验证 贝叶斯 采样 吉布斯
2022-04-11 14:31:02

我在这个线程上读到以下内容:

如果您可以同时使用 gibbs 采样器和切片采样从后部采样,我会使用 Gibbs 采样器,因为切片采样器对我来说似乎没有必要 <...> 如果您不能使用 gibbs 但可以使用切片,那么您的问题似乎无关紧要。

但是,当他在M. Jordan 演讲的这些幻灯片上说:

切片抽样是吉布斯抽样的一个特例(在产品空间中)。

他这是什么意思?

另外,什么时候不能进行 Gibbs 采样但仍然可以进行切片采样?

2个回答

切片采样是 Gibbs 采样的一种特殊情况,其中引入了一个潜在的均匀随机变量,然后将 Gibbs 应用于 rvs 的扩展集——这就是 Jordan在乘积空间中的意思。切片采样也可以现有的 Gibbs 方案中使用,再次通过增加参数空间(尽管在采样期间不需要存储统一参数)所以我猜另一个线程中的答案是什么意思是没有意义使用 slice-within-Gibbs 扩充现有的 Gibbs 采样器(编辑:除非您首先不能运行现有的 Gibbs,当然)。

值得指出的是,单变量切片采样(例如反射或椭圆)的推广可以比 Gibbs 采样执行得更好,所以我不同意其他回答者关于从不喜欢切片而不是 Gibbs 的说法。

我不同意切片抽样严格来说是吉布斯抽样的一个特例。这几乎是吉布斯采样,但不完全是。查看Neal (2003)第 3 节,其中讨论了从f(x)使用辅助变量y. Gibbs 采样器将

  1. 样本yp(y|x)=统一(0,f(x))。
  2. 样本xp(x|y)=统一(S), 在哪里S={x:y<f(x)}.

第 1 步是精确的 Gibbs 步,如果我们知道切片S确切地说,第 2 步也可以。然而,我们不知道S在实践中,因此切片采样使用逐次逼近S代替S本身。执行此操作的不同方法包括 Neal 建议的步进切片采样器和加倍切片采样器。但无论如何,第 2 步并不是一个精确的、真正的 Gibbs 步。

我读过切片采样是一般辅助变量方法的一个特例,它依赖于相同的数据增强思想:即引入一个额外的变量,如y并类似地使用它来进行采样x更轻松。