我一直在阅读有关在 MCMC 中检查自相关的必要性。为什么自相关低很重要?它在 MCMC 的背景下衡量什么?
为什么希望在 MCMC 中具有低自相关?
机器算法验证
采样
自相关
马尔可夫链蒙特卡罗
2022-03-18 03:31:01
2个回答
首先,也是最明显的,如果自相关性很高,那么 N 个样本不会为您提供关于您的分布的 N 条信息,而是更少。有效样本量 (ESS) 是衡量您真正获得多少信息的一种方法(并且是自相关参数的函数)。
相关地,自相关在“短期内”为您提供了不具代表性的样本。此外,自相关越多,“短期”的时间就越长。对于非常强的自相关,短期运行可能占总样本的很大一部分。通常的直接补救措施是重新参数化或采样参数,您希望这些参数在块中相互关联,而不是单独关联,否则它们会在链中产生自相关。人们通常也“瘦”,尽管有一些关于这在解决潜在问题方面的有用性的讨论,例如这里。 Kass 1997是对这些问题的非正式讨论,尽管其他人可能会推荐一些更新的东西。
简而言之,一个强自相关链需要更长的时间才能从其起始条件到达您想要的目标分布,同时信息较少,并且在到达那里时需要更长的时间来探索该分布。
自相关是衡量一个信号的值与该信号在不同时间点的其他值的相关程度。在 MCMC 的上下文中,自相关是衡量不同样本与后验分布的独立程度的度量——自相关越低,表明结果越独立。
当您具有高自相关时,您绘制的样本不能准确地表示后验分布,因此不能为解决问题提供有意义的信息。换句话说,较低的自相关意味着更高的链效率和更好的估计。一般规则是自相关越低,该方法有效所需的样本就越少(但这可能过于简单化了)。
其它你可能感兴趣的问题