一个好的 Gibbs 采样教程和参考资料

机器算法验证 参考 吉布斯
2022-01-27 05:39:17

我想了解 Gibbs Sampling 的工作原理,并且正在寻找一篇好的基础到中级论文。我有计算机科学背景和基本的统计知识。

有人读过好资料吗?你在哪里学的?

3个回答

我会开始:

卡塞拉,乔治;乔治,爱德华一世(1992 年)。解释 Gibbs 采样器”。美国统计学家 46 (3): 167–174。免费PDF

摘要:计算机密集型算法,如 Gibbs 采样器,已成为越来越流行的统计工具,无论是在应用还是理论工作中。然而,此类算法的属性有时可能并不明显。在这里,我们简单解释一下 Gibbs 采样器的工作原理和方式。我们在一个简单的案例中分析地建立了它的属性,并为更复杂的案例提供了洞察力。还有很多例子。

美国统计学家通常是简短(ish)介绍性文章的好来源,这些文章不假设对该主题有任何先验知识,尽管它们确实假设您具有概率和统计方面的背景,这些背景可以合理地预期为美国人统计协会

一篇真正帮助我理解 Gibbs Sampling 的在线文章是Gregor Heinrich的文本分析参数估计。这不是一般的 Gibbs 采样教程,而是根据潜在狄利克雷分配(一种相当流行的文档建模贝叶斯模型)对其进行讨论。它非常详细地进入了数学。

一个更详尽的数学细节是Gibbs Sampling for the Uninitiated我的意思是详尽无遗,因为它假设你知道一些多元微积分,然后从那一点开始列出每一步。所以虽然有很多数学,但没有一个是高级的。

我认为这些对你来说会更有用,而不是那些得出更高级结果的东西,比如那些证明吉布斯抽样为什么会收敛到正确分布的东西。我指出的参考资料并不能证明这一点。

《科学计算中的蒙特卡洛策略》一书是一个极好的资源。它确实以严格的数学方式解决了问题,但是您可以轻松跳过您不感兴趣的数学部分,并且仍然从中获得大量实用建议。特别是,它很好地将 Metropolis-Hastings 和 Gibbs 抽样结合在一起,这一点至关重要。在大多数应用程序中,您需要使用 Gibbs 采样从后验分布中提取,因此了解它如何适合 Metropolis 的一般逻辑是有帮助的。