位置变量的线性变换等价于动量变量的逆线性变换。理想情况下，您希望从协方差矩阵为单位矩阵的（变换后的）分布中采样，这是通过上述变换获得的。

有关详细信息，Neal 的“使用哈密顿动力学的 MCMC”，马尔可夫链蒙特卡罗手册第 5 章，第 4.1 节（“线性变换的影响”）中有一个很好的解释。本章可在此处获得。

尼尔解释说：

假设我们有一个估计，$\Sigma$, 的协方差矩阵$q$, 并假设$q$至少具有大致高斯分布。我们如何使用这些信息来提高 HMC 的性能？一种方法是变换变量，使它们的协方差矩阵接近恒等式，通过找到 Cholesky 分解，$\Sigma = LL^T$， 和$L$是下三角形，并且让$q^\prime = L^{−1}q$. [$\ldots$]

利用估计协方差的等效方法$\Sigma$是保持原样$q$变量，但使用动能函数$K(p) = p^T \Sigma p/2$— 即，我们让动量变量具有协方差$\Sigma^{−1}$. 通过将这个动能转换为对应于$q^\prime = L^{−1} q$（见方程（4.1）），它给出$K(p^\prime) = (p^\prime)^T{M^\prime}^{−1}p^\prime$和$M^\prime = (L^{−1}(LL^T)(L^{−1})^T)^{−1} = I$.

为了给出一些直觉，假设目标 pdf 是雪茄形的，指向一个非轴对齐的方向。您可以旋转并重新缩放空间，使雪茄变成一个球，然后从单位多元法线绘制动量，或者等效地，您可以保留原始空间并绘制动量，使它们与雪茄对齐（例如，大部分速度沿雪茄的主轴，以便您可以快速探索它）。

一个简单的方法来看看为什么$M$应该是您要从中采样的分布的逆协方差是考虑从具有任意均值的多元正态中采样$\mu$和协方差$\Sigma$. 在这种情况下，可以精确求解哈密顿运动方程（即，不需要越级积分）。现在，对于$M=\Sigma^{-1}$发生了两件神奇的事情：（i）每个坐标的运动方程与其他坐标解耦，以及（ii）矩阵$\Sigma$和$M$相互抵消并从运动方程中消失。解决方案是一组具有相同频率的振荡器，可以说可以产生最快的混频。在此处查看 eqs (2.31)-(2.35) 中的一些详细信息。

在一般分布中，这种方法只是一个近似值。

使用估计协方差的线性变换动量的显着部分。

给定一个估计$\hat{\Sigma}$后验 HMC 的协方差矩阵的采样来自：

1. 画$\phi \sim N(0, \hat{\Sigma}^{-1})$

2. 模拟哈密顿动力学。（重复 L 次）

   A. 半步：$\phi \leftarrow \phi + \frac{1}{2}\epsilon \frac{d}{d\theta}\mathrm{log}p(\theta \mid y)$.

   B. 全步：$\theta \leftarrow \theta + \epsilon \hat{\Sigma}\phi$.

   C. 半步：$\phi \leftarrow \phi + \frac{1}{2}\epsilon \frac{d}{d\theta}\mathrm{log} p(\theta \mid y)$.

3. 接受/拒绝。

（如果这是正确的，请不要投票，请投票@lacerbi）