机器算法验证 - MCMC - Metropolis Hasting：详细余额的正式推导 - 吾爱随笔录 - 问答

MCMC - Metropolis Hasting：详细余额的正式推导

机器算法验证自习马尔可夫链蒙特卡罗大都会黑斯廷斯

2022-04-12 19:34:51

我不理解 Metropolis Hastings 更新生成满足详细平衡的马尔可夫链的正式证据，正如 Wikipedia 文章中给出的那样。在“形式推导”下，它指出

\frac{A (x^{'} | x)}{A (x | x^{'})} = \frac{P (x^{'})}{P (x)} \frac{g (x | x^{'})}{g (x^{'} | x)}

$\frac{A(x'|x)}{A(x|x')}=\frac{P(x')}{P(x)}\frac{g(x|x')}{g(x'|x)}$

由接受概率满足

A (x^{'} | x) = m i n (1, \frac{P (x^{'})}{P (x)} \frac{g (x | x^{'})}{g (x^{'} | x)})

$A(x'|x)=min\left(1,\frac{P(x')}{P(x)}\frac{g(x|x')}{g(x'|x)}\right)$

其中是候选者，是当前状态，接受概率，目标分布和提议分布。 $x'$ $x$ $A(.)$ $P(.)$ $g(.)$

我只是不明白为什么这在形式上是正确的。

维基百科文章链接： https ://en.wikipedia.org/wiki/Metropolis%E2%80%93Hastings_algorithm#Formal_derivation

1个回答

接下来是一个简单的案例区分：如果，则并且根据对称性，并且主张成立。情况类似。 $P(x')g(x|x')>P(x)g(x'|x)$ $A(x'|x)=1$ $A(x|x')=\frac{P(x)g(x'|x)}{P(x')g(x|x')}$ $P(x')g(x|x')\le P(x)g(x'|x)$

也许，平等

A (x^{'} | x) \cdot P (x) g (x^{'} | x) = A (x | x^{'}) \cdot P (x^{'}) g (x | x^{'})

$A(x'|x)\cdot P(x)g(x'|x)= A(x|x')\cdot P(x')g(x|x')$

的定义更容易看到 $A$

min (P (x) g (x^{'} | x), P (x^{'}) g (x | x^{'})) = min (P (x^{'}) g (x | x^{'}), P (x) g (x^{'} | x))

$\min(P(x)g(x'|x), P(x')g(x|x')) = \min(P(x')g(x|x'),P(x)g(x'|x))$

其它你可能感兴趣的问题

上一篇“随机变量”与“随机值”（从俄语翻译成英语时）下一篇如何计算R2R2套索 (glmnet)