有人可以解释哈密顿蒙特卡罗方法背后的主要思想吗?在哪些情况下它们会比马尔可夫链蒙特卡罗方法产生更好的结果?
哈密顿蒙特卡罗
机器算法验证
贝叶斯
马尔可夫链蒙特卡罗
汉密尔顿-蒙特卡罗
2022-02-12 04:53:36
2个回答
我相信有关 Hamiltonian Monte Carlo 的最新资料,它的实际应用以及与其他 MCMC 方法的比较是 Betancourt 于 2017 年发表的这篇评论论文:
估计概率期望的最终挑战是量化目标分布的典型集合,该集合集中在参数空间中的复杂表面附近。哈密顿蒙特卡罗通过利用典型集合的几何形状生成平滑目标分布的连贯探索。这种有效的探索不仅产生了比其他马尔可夫链蒙特卡罗算法更好的计算效率,而且对结果估计器的有效性也有更强的保证。此外,对这种几何结构的仔细分析有助于自动构建该方法的最佳实施的原则性策略,允许用户将他们的专业知识集中在构建更好的模型上,而不是与统计计算的挫折搏斗。因此,斯坦(斯坦开发团队,2017 年)。
哈密顿蒙特卡洛 ( HMC ),最初称为混合蒙特卡洛,是一种带有动量项和修正的马尔可夫链蒙特卡洛形式。
“哈密顿”是指哈密顿力学。
该用例是随机(随机)探索概率空间上数值积分的高维。
与 MCMC 对比
Plain/vanilla Markov Chain Monte Carlo (MCMC) 仅使用最后一个状态来确定下一个状态。这意味着你有可能继续前进,就像你回到你已经探索过的空间一样。
MCMC 也可能会偏离高维空间中的主要关注区域。
这使得 MCMC 对于多维概率空间上的数值积分非常低效。
HMC 如何处理这些问题
通过添加动量项,HMC 可以更有效地探索概率空间,因为您现在更有可能在概率空间的每一步中取得进展。
HMC 还使用Metropolis-Hastings校正来确保它留在并探索更大概率的区域。
在写下这个答案时,我发现这个关于 HMC 的演讲很有启发性。