格尔曼和鲁宾收敛诊断,如何推广到使用向量?

机器算法验证 马尔可夫链蒙特卡罗 收敛 协方差矩阵
2022-02-09 16:49:11

Gelman 和 Rubin 诊断用于检查并行运行的多个 mcmc 链的收敛性。它将链内方差与链间方差进行比较,说明如下:

步骤(针对每个参数):

  1. 从过度分散的起始值运行 m ≥ 2 个长度为 2n 的链。
  2. 丢弃每个链中的前 n 个抽签。
  3. 计算链内和链间方差。
  4. 将参数的估计方差计算为链内和链间方差的加权和。
  5. 计算潜在的比例缩减因子。
  6. 项目清单

我想使用这个统计数据,但我想使用它的变量是随机向量。

在这种情况下取​​协方差矩阵的平均值是否有意义?

1个回答

建议:只需为每个标量分量分别计算 PSRF

Gelman & Rubin [1] 的原始文章,以及 Gelman 等人的贝叶斯数据分析教科书。[2] 建议为每个感兴趣的标量参数分别计算潜在的比例缩减因子 (PSRF)。为了推断收敛性,需要所有 PSRF 接近 1。将参数解释为随机向量并不重要,它们的分量是可以计算 PSRF 的标量。

Brooks & Gelman [3] 提出了 PSRF 的多变量扩展,我将在本答案的下一部分进行回顾。然而,引用 Gelman & Shirley [4] 的话:

[...] 这些方法有时可能显得有些矫枉过正:即使多元分布的模拟的近似收敛可能需要很长时间,也可以很好地估计单个参数。

替代方案:Brooks&Gelman 的多元扩展

Brooks & Gelman [3] 提出了 PSRF 的多元扩展,其中确实有人将估计的协方差矩阵(您的步骤 4)计算为链内的加权和(W) 和链间 (B)协方差矩阵(您的第 3 步):

V^=n1nW+(1+1m)Bn,
在哪里n是链长。然后,需要为协方差矩阵之间的距离定义一些标量度量V^,W. 作者提出
R^=maxaaTV^aaTWa=n1n+(m+1m)λ1,
在哪里m是链的数量,相等性在文章中显示为λ1是最大的正特征值W1V^/n. 然后,作者认为在链的收敛下,λ10因此大n这个多元R^应该在 1 附近收敛。

参考

[1] 格尔曼、安德鲁和唐纳德 B. 鲁宾。“使用多个序列的迭代模拟推断。” 统计科学(1992):457-472。

[2] 格尔曼、安德鲁等人。贝叶斯数据分析。CRC 出版社,2013 年。

[3] 布鲁克斯、斯蒂芬 P. 和安德鲁·格尔曼。“监测迭代模拟收敛的一般方法。” 计算和图形统计杂志 7.4 (1998): 434-455。

[4] 格尔曼、安德鲁和肯尼斯·雪莉。“从模拟推断和监测收敛”。(第 6 章,Brooks,Steve 等人,编着马尔可夫链蒙特卡罗手册。CRC 出版社,2011 年。)

除了教科书 [2] 之外的所有文章都可以在 Andrew Gelman 的网站Andrew Gelman 的网站上找到