ABC 和 MCMC 的应用有何不同?

机器算法验证 贝叶斯 马尔可夫链蒙特卡罗 计算统计
2022-02-02 06:17:17

据我了解,近似贝叶斯计算 (ABC) 和马尔可夫链蒙特卡洛 (MCMC) 的目标非常相似。下面我将描述我对这些方法的理解,以及我如何看待它们在现实生活数据中的应用差异。

近似贝叶斯计算

ABC 包括对参数进行采样θ从先验,通过数值模拟计算统计量xi这与一些观察到的xobs. 基于拒绝算法,xi被保留或拒绝。保留名单xis 做了后验分布。

马尔可夫链蒙特卡罗

MCMC 包括对参数的先验分布进行采样θ. 它需要第一个样本θ1, 计算P(xobs|θ1)P(θ1)然后跳转(根据某些规则)到一个新值θ2为此P(xobs|θ2)P(θ2)再次计算。比例P(xobs|θ2)P(θ2)P(xobs|θ1)P(θ1)计算并根据某个阈值,下一次跳跃将从第一个或第二个位置发生。的探索θ值一一对应,到最后,保留的分布θvalues 是后验分布P(θ|x)(出于我仍然不知道的原因)。

我意识到我的解释未能代表每个术语下存在的各种方法(尤其是对于 MCMC)。

ABC vs MCMC(优点和缺点)

ABC的优点是不需要能够解析求解P(x|θ)P(θ). 因此,ABC 对于 MCMC 无法实现的复杂模型很方便。

MCMC 允许进行统计检验(似然比检验、G 检验……),而我认为这对于 ABC 是不可行的。

到目前为止我是对的吗?

问题

  • ABC 和 MCMC 的应用有何不同?一个人如何决定使用一种或另一种方法?
2个回答

Björn 回答之上的一些额外评论:

  1. ABC 最初由 Rubin (1984) 引入,作为对贝叶斯推理性质的解释,而不是用于计算目的。在本文中,他解释了采样分布和先验分布如何相互作用以产生后验分布。

  2. 然而,ABC 主要用于计算原因。种群遗传学家在基于树的模型上提出了这种方法,在这种模型中,观察到的样本的可能性是难以处理的。在此类设置中可用的 MCMC(数据增强)方案效率极低,重要性采样也是如此,即使使用单维参数也是如此......在其核心,ABC 是蒙特卡罗方法(如 MCMC 或 PMC)的替代品,当这些并非适用于所有实际目的。当它们可用时,ABC 会显示为一个代理,如果它运行得更快,可以用来校准它们。

  3. 从更现代的角度来看,我个人认为 ABC 是一种近似推理方法,而不是一种计算技术。通过建立一个近似模型,人们可以对感兴趣的参数进行推断,而不必依赖于一个精确的模型。虽然在此设置中需要一定程度的验证,但它的有效性不亚于进行模型平均或非参数化。事实上,ABC 可以看作是一种特殊类型的非参数贝叶斯统计。

  4. 如果用嘈杂的模型和数据替换原始模型和数据,还可以证明(嘈杂的)ABC 是一种完美定义的贝叶斯方法。因此,它允许人们可以想到的所有贝叶斯推理。包括测试。我们对关于 ABC 和假设检验的辩论的意见是,基于 ABC 的近似模型最终可能无法评估给定数据的假设的相关性,但不一定,这与 ABC 在人口中的大多数应用一样好遗传学与模型选择有关。

  5. 从更近的角度来看,我们可以将 ABC 视为间接推理的贝叶斯版本,其中统计模型的参数与预定统计量的矩相关。如果该统计量足以(或在白话意义上足够)识别这些参数,则可以证明 ABC 可以通过观察次数收敛到参数的真实值。

不同之处在于,对于 ABC,您不需要解析表达式P(x|θ)而是通过模拟数据并查看θ模拟数据最经常(大约)匹配观察到的数据(建议值,例如从先验随机抽取)。对于简单的情况,例如样本量不太大的单个二项式随机变量,您甚至可以要求完全匹配,在这些情况下,对于这些后验样本,您确实没有什么是您不能做的标准 MCMC 样品。对于具有连续(即使对于多变量离散结果)和可能需要精确匹配的潜在多变量结果的更复杂的情况,不再可行。

实际上有 ABC 的 MCMC 版本,它解决了以下问题:如果您的先验与后验不太相似(例如,因为先验信息非常不丰富),通过从先验中提取进行采样是非常低效的,因为您很少会得到观察数据和模拟数据之间的密切匹配。

什么时候P(x|θ)是分析可用的,我认为使用标准 MCMC 几乎总是更可取的。我想可以想象,以某种方式评估P(x|θ)计算量如此之大,以至于 ABC 表现得更好。也许有人知道这方面的一个例子。相比之下,当标准 MCMC 方法不是一种选择时,我会主要考虑 ABC 或 MCMC-ABC(或许多其他 ABC 变体之一),因为P(x|θ)无法解析。当然,在这种情况下可能有一些其他可能的选项(例如 INLA、似然度的二次近似等),它们对于特定问题可能更有效/更成功。在某种程度上,您可以对来自 ABC 的后验样本所做的任何限制都来自只需要实际数据和模拟数据之间的近似匹配(如果您可能需要精确匹配,则根本没有问题)。有几篇很好的介绍性论文,例如Marin 等人的这篇论文。(2012 年)至少其中一位合著者 (@Xi'an) 是这里的积极贡献者,我也很想在这里发表他的想法 - 我相信他可能会在测试主题上说更多。