机器算法验证 - 为什么冗余均值参数化会加速 Gibbs MCMC？ - 吾爱随笔录

在 Gelman & Hill (2007) 的书（使用回归和多级/分层模型的数据分析）中，作者声称包含冗余平均参数可以帮助加速 MCMC。

给定的示例是“飞行模拟器”（Eq 13.9）的非嵌套模型：

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

他们建议重新参数化，添加平均参数和如下： $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

提供的唯一理由是（第 420 页）：

模拟可能会陷入整个向量（或）远离零的配置中（即使它们被分配了一个均值为 0 的分布）。最终，模拟将收敛到正确的分布，但我们不想等待。 $\gamma$ $\delta$

冗余平均参数如何帮助解决这个问题？

在我看来，非嵌套模型很慢主要是因为和是负相关的。（事实上，如果一个上升，另一个必须下降，因为它们的总和是由数据“固定”的）。冗余平均参数是否有助于降低和之间的相关性，或者完全是其他什么？ $\gamma$ $\delta$ $\gamma$ $\delta$