哈密​​顿蒙特卡罗:为什么需要重新参数化?

机器算法验证 马尔可夫链蒙特卡罗 蒙特卡洛 斯坦
2022-03-31 14:16:57

在 Stan 用户手册(版本 2.0.1,第 157 页)中,它说

诸如上述的分层模型将遭受同样的低效率... [对于哈密顿蒙特卡洛方法],因为 和 的值beta验中高度相关mu_betasigma_beta

然后,他们建议重新参数化模型以避免此问题。

我不确定我对为什么相关性会成为问题有很好的直觉。我认为哈密顿蒙特卡洛的全部意义在于它对旋转是不变的。因此,后部是否与轴对齐或者相关性是否使主轴处于一定角度都无关紧要。

我能想到的最好的猜测是,如果相关性变得足够极端,后验结果可能会变得又长又窄,而关于尺度差异的某些东西会导致问题。但我不确定这是一个合理的解释。

1个回答

哈密​​顿蒙特卡洛经常被引用为旋转不变,但这实际上意味着什么?

从理论上讲,哈密顿蒙特卡罗 (HMC) 独立于选择来表示您的分布的坐标,这实际上意味着它是旋转和尺度不变的。问题是,在实践中,我们不能精确地运行 HMC,而必须使用数值积分器进行近似。数值积分器引入了对相关性和尺度的敏感性——目标分布的各向同性越强,积分器的表现就越好。

也就是说,为分层模型推荐的重新参数化实际上有点微妙。问题不是经典意义上的相关性,而是等级意义上的相关性。这些为 HMC 引入了不同但同样具有挑战性的问题,这些问题可以通过巧妙地改变相关性的非中心参数化来调节。有关详细信息,请查看我们最近的预印本,http://arxiv.org/abs/1312.0906