机器算法验证 - 与吉布斯抽样有关的困惑 - 吾爱随笔录 - 问答

与吉布斯抽样有关的困惑

机器算法验证马尔可夫链蒙特卡罗吉布斯大都会黑斯廷斯

2022-02-28 18:38:48

我遇到了这篇文章，它说在吉布斯抽样中，每个样本都被接受。我有点困惑。如果它接受的每个样本都收敛到一个平稳分布，那怎么办？

一般来说，我们接受的 Metropolis 算法为 min(1, p(x*)/p(x))，其中 x* 是样本点。我假设 x* 将我们指向密度高的位置，因此我们正在移动到目标分布。因此，我认为它会在老化期后移动到目标分布。

然而，在吉布斯抽样中，我们接受一切，所以即使它可能把我们带到不同的地方，我们怎么能说它收敛到平稳/目标分布

假设我们有一个分布。我们无法计算 Z。在 Metropolis 算法中，我们使用术语来合并分布加上归一化常数 Z 抵消。所以没关系 $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

但是在 Gibbs 抽样中，我们在哪里使用分布 $c(\theta)$

例如，在论文http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf中给出

所以我们没有确切的条件分布来采样，我们只有与条件分布成正比的东西

在此处输入图像描述

2个回答

当我们使用 Metropolis-Hastings 算法时，我们必须计算接受率并让随机变量如果，我们接受随机变量。

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

然而，在 Gibbs 抽样中，我们总是排除随机变量，因为我们不必计算接受率（你实际上是这样做的，但是当你插入东西时，你会看到一切都被抵消了，你的接受率是，所以很清楚总是小于，因此你总是接受）。但是，您也可以直观地想到，在 Gibbs 采样中，您是从完整条件句中采样的，这是一个封闭形式的表达式，我们可以直接从中采样，因此不需要像 Metropolis-Hastings 算法那样拒绝样本，我们不知道如何从（或通常不识别）中采样。希望有帮助！ $\alpha=1$ $U$ $\alpha$ $p(x)$

在此处输入图像描述

接受率等于 1 的证明是一个错字，即在中间和第三部分的分母中，q 的表达式应该有 z_i 素数，所以最后你得到 P(z_i prime|z_i prime)。

亚历克斯

其它你可能感兴趣的问题

上一篇统计检验以查看关系是线性的还是非线性的下一篇R/caret：训练和测试集与交叉验证？