机器算法验证 - 马尔可夫链收敛、总变异和 KL 散度 - 吾爱随笔录

马尔可夫链收敛、总变异和 KL 散度

机器算法验证马尔可夫链蒙特卡罗马尔科夫过程 kullback-leibler 收敛

2022-03-21 20:22:11

我有一些关于连续状态马尔可夫链收敛的相关问题。

我发现的定理声称，如果马尔可夫链不可约和非周期性的，则它们会以总变差收敛（例如http://arxiv.org/pdf/math/0404033.pdf，定理 4）。我对这个结果的表述方式感到困惑，它似乎并不取决于 \phi 的选择，\ -不可约性似乎总是适用于微不足道的措施。也许我误解了 -不可约性的定义？有人可以帮我理解这个重要的结果吗？ $\phi$ $\phi$ $\phi$ $\phi$

我的另一个问题是：马尔可夫链在什么条件下会收敛于 KL 散度（理想情况下相对于）？这是已知的吗？Pinsker 的不等式告诉我，KL 散度的收敛性都强于总变异的收敛性。 $D_\text{KL}[P^n(x, \cdot), Q]$

谢谢！

1个回答

在所有条件下正确陈述定理很重要。Roberts 和 Rosenthal 的论文中的定理 4 指出，步转换概率在总变化中收敛到概率度量对于 -几乎所有如果链是 -不可约的，非周期性的，并且有作为不变的初始分布，也就是说，如果还有一个技术条件是 $n$ $P^n(x, \cdot)$ $\pi$ $\pi$ $x$ $\phi$ $\pi$

π (A) = \int P (x, A) π (d x) .

$\pi(A) = \int P(x, A) \pi(\mathrm{d}x).$

σ

$\sigma$ -状态空间上的代数应该是可数生成的。我们回到下面。对于定理的一般应用来说，预先知道存在一个不变的是非常重要的——否则链可能是零循环的。的 MCMC 上下文中，链是用给定的目标分布构造为不变分布的，因此在这种情况下，我们需要检查

π

$\pi$

R^{d}

$\mathbb{R}^d$

ϕ

$\phi$

这些问题的权威参考是 Meyn 和 Tweedies 的书Markov Chains and Stochastic Stability，该书在论文中也被大量引用。但是，据我所知，论文和书中给出的结果存在细微差别，并且论文确实有对定理 4 的证明。

回到问题，用于定义度量是假设非零，因此排除了琐碎的度量（这实际上在 Meyn 和 Tweedie 的书中缺失，但在论文中正确说明第 31 页。Meyn 和 Tweedie 的书也缺乏 Roberts 和 Rosenthal 所做的有限性假设。我也看不出有可能放弃这一点。） $\phi$ $\phi$ $\sigma$

回到一般状态空间上可数生成的代数的假设，这个假设确保了不可约链具有小集合，参见论文中的定理 19。如果您可以通过其他方式证明小集合的存在，则可以放弃 $\sigma$ $\phi$ $\sigma$

关于第二个问题，恐怕帮不上什么忙。为什么这很有趣？我没有遇到特别需要 KL-convergence 的问题。

其它你可能感兴趣的问题

上一篇朴素贝叶斯分类中的 PDF 和概率下一篇解释 PCA 特征向量元素的正负号