机器算法验证 - 使用所有 Metropolis-Hastings 提议来估计积分 - 吾爱随笔录

使用所有 Metropolis-Hastings 提议来估计积分

机器算法验证数理统计马尔可夫链蒙特卡罗蒙特卡洛大都会黑斯廷斯饶布莱克威尔

2022-03-25 09:53:06

假设我们用目标分布运行 Metropolis-Hastings来计算积分。通常，我们使用估计量但是，我没有将相加，而是看到了以下修改：让表示提案序列。根据定义，并将设置为，概率。我们可以将(。 $\mu$ $\int f\:{\rm d}\mu$

A_{n} := \frac{1}{n} \sum_{i = 0}^{n - 1} f (X_{i}) .

$A_n:=\frac1n\sum_{i=0}^{n-1}f(X_i).$

f (X_{i})

$f(X_i)$

(Y_{n})_{n}

$(Y_n)_n$

Y_{i}

$Y_i$

X_{i}

$X_i$

Y_{i}

$Y_i$

α (X_{i - 1}, X_{i})

$\alpha(X_{i-1},X_i)$

f (X_{i})

$f(X_i)$

(1 - α (X_{i - 1}, Y_{i})) f (X_{i - 1}) + α (X_{i - 1}, Y_{i}) f (Y_{i})

$(1-\alpha(X_{i-1},Y_i))f(X_{i-1})+\alpha(X_{i-1},Y_i)f(Y_i)$

我找不到任何考虑此修改的讲义或论文或以类似方式修改的估计器（除了本文）。有人手头有参考吗？

2个回答

在 Metropolis-Hastings 算法中回收建议值的名称为Rao-Blackwellisation。例如，我们在

Casella 和 Robert (1996)抽样方案的 Rao-Blackwellisation。
Douc 和 Robert (2013) Metropolis-Hastings 算法的普通 Rao-Blackwellisation

请注意，您在问题中提出的权重：不是最优的因为不能保证降低方差。由于不同术语之间的相关性，即使是我在我的一张 MCMC 课程幻灯片中制作的 [上图] 也并不总是减少方差。（只有数据增强情况会导致方差确实减少，参见Liu、Wong 和 Long 的这篇精彩论文，1994 年。以及香草 Rao-Blackwellisation。）

[1 - α (x_{i}, y_{i + 1})] h (x_{i}) + α (x_{i}, y_{i + 1}) h (y_{i})

$[1-\alpha(x_i,y_{i+1})]h(x_i)+\alpha(x_i,y_{i+1})h(y_i)$

这看起来类似于“本地”重要性采样。在文献中，构建这种类型的估计器似乎被称为“废物回收”，快速搜索会产生一些论文：

穆雷的这篇论文
Freknel 的 PNAS 论文在这里
Delmas 和 Jourdain 对废物回收有帮助吗？
他们在这里使用并行 MCMC

使用关键字“废物回收”进一步搜索并查看上述参考资料可能会为您提供更多论文。

其它你可能感兴趣的问题

上一篇和暗示X？X→dX1X→dX1是→d是1Y→dY1X+ Y→dX1+是1X+Y→dX1+Y1 下一篇“黑盒变分推理”是什么意思？