低有效样本量但良好的 R-hat 这是一个问题吗?

机器算法验证 贝叶斯 收敛 斯坦
2022-03-26 18:49:44

我正在使用 Stan (Hamiltonian Monte-Carlo) 来运行一个高度参数化的模型。特别是其中一个参数具有非常低的有效样本量(n_eff < .10* 保留抽签次数),但具有可接受的 R-hat 值 1.0006。

在我看来,这意味着链混合得很好,但保留的样本仍然与它们各自之前的抽签高度相关。

我一直在进行模拟工作,获得的参数后验均值是准确的,尽管分布比其他参数更宽。

我应该担心非常低的有效样本量吗?

除了重新参数化我的模型之外,还有其他建议可以解决此参数的低有效样本量吗?

到目前为止我尝试过的事情:

  1. 老化时间更长
  2. 增加adapter_delta
  3. 细化(虽然我的理解是细化在 HMC 中没有用)
  4. 使用共轭先验分布
1个回答

在第 285 页的BDA3中,他们提到R^是对“如果在极限内继续模拟,[特定单变量参数]的当前分布规模可能会减少的因素的估计n。”因为你的R^如此接近1,这意味着不再运行模拟不太可能有太大用处。

您提到,对于特定参数,似乎“分布比其他参数更宽”。这可能是该参数的边缘后验的属性,这很好。您的一些建议实际上可能会使您用来证明您的估计合理的某些理论无效。例如,我不会过多地摆弄老化,并且在您不喜欢模拟结果之后更改先验通常是禁忌。

编辑:关于您对有效样本量的更多信息的要求,在我在同一本书中引用的部分之后关闭,他们讨论R^与有效样本量的关系neff以及两者的推荐设置。特别是,他们提到可能有尽可能少的10或者100作为一个有效的样本量,并且只有在需要提高精度的情况下才能瞄准更多。这是一个报价:

作为默认规则,我们建议运行模拟直到 n^eff至少是5m... 有一个有效的样本量10每个序列通常应该对应于所有模拟序列的稳定性。

这里,m是“链数(拆分后)” BDA3 pg。284你在模拟。请注意,特别是他们建议的所需数量不取决于抽奖次数,保留或其他。这两个指标“通常”相关的原因是因为它们的公式使用了相同的数量。

然而,他们正在分散两种不同的量。R^衡量后验分布规模的潜在减少,而有效样本量为您提供该分布的预期值的估计方差的减少。在理想情况下,我们不必求助于抽样,我们可以只推导出后验期望值;在这里,我们对后者的误差为零,但对于前者来说可能是一个非常大的数字。有关更多信息,请查看第 286 和 287 页。