有不同种类的 MCMC 算法:
- 大都会-黑斯廷斯
- 吉布斯
- 重要性/拒绝抽样(相关)。
为什么要使用 Gibbs 抽样而不是 Metropolis-Hastings?我怀疑在某些情况下,Gibbs 抽样比 Metropolis-Hastings 更容易进行推理,但我不清楚具体细节。
有不同种类的 MCMC 算法:
为什么要使用 Gibbs 抽样而不是 Metropolis-Hastings?我怀疑在某些情况下,Gibbs 抽样比 Metropolis-Hastings 更容易进行推理,但我不清楚具体细节。
首先,让我[有点迂腐地]指出
有几种不同类型的 MCMC 算法:Metropolis-Hastings、Gibbs、重要性/拒绝采样(相关)。
重要性和拒绝采样方法不是 MCMC 算法,因为它们不是基于马尔可夫链。实际上,重要性采样不会从目标分布中产生样本,,而只是重要性权重相关的积分的蒙特卡洛近似。使用这些权重作为产生样本的概率不会导致来自的正确样本,即使可以产生
其次,问题
为什么有人会选择 Gibbs 抽样而不是 Metropolis-Hastings?我怀疑在某些情况下,Gibbs 抽样比 Metropolis-Hastings 更易于推理
没有答案,因为 Metropolis-Hastings 采样器几乎可以是任何东西,包括 Gibbs 采样器。我对较早的类似问题进行了相当详细的回答。但是,让我在这里添加一些多余的点:
引入 Gibbs 抽样的主要原因是通过产生一系列仍然收敛到正确目标的低维模拟来打破维数诅咒(这会影响拒绝和重要性抽样)。即使目标的维度会影响收敛速度。Metropolis-Hastings 采样器旨在通过接受-拒绝步骤纠正错误的密度,基于提议(如重要性和拒绝抽样)创建马尔可夫链(如吉布斯抽样)。但重要的一点是它们并不反对:即,当面对复杂的低维条件目标时,Gibbs 抽样可能需要 Metropolis-Hastings 步骤,而 Metropolis-Hastings 提议可能建立在 (Gibbs) 全条件的近似之上。在正式定义中,Gibbs 抽样是 Metropolis-Hasting 算法的一种特殊情况,其接受概率为 1。(顺便说一句,我反对使用该引用中的推论,因为我将其保留用于统计目的,而这些采样器是数字设备。)
通常,吉布斯采样 [被理解为运行一系列低维条件模拟] 在分解成此类条件的情况下易于实现且运行速度快的情况下受到青睐。在这种分解导致多模态并因此难以在模式之间移动的环境中(想到混合模型等潜在变量模型),在 Metropolis-Hasting 算法中使用更全局的提议可能会产生更高的效率。但缺点在于在 Metropolis-Hasting 算法中选择提案分布。