简单英语的变分推理

机器算法验证 机器学习 数理统计 数据挖掘
2022-03-01 20:03:52

在 youtube 上观看视频后,我觉得我无法真正定义变分推理是什么。在观看有关它的视频讲座时,我可以按照程序进行操作。但很难定义真正的东西。希望能听到。

1个回答

不是基于我的知识,但这是一篇我认为与该问题非常相关的论文(用相当简单的英语): Blei, Kucukelbir & McAuliffe 2016. Variational Inference: A Review for Statisticianshttps://arxiv.org/abs/1601.00670

从摘要:

现代统计学的核心问题之一是近似难以计算的概率密度。这个问题在贝叶斯统计中尤为重要,贝叶斯统计将所有关于未知量的推断都视为涉及后验密度的计算。在本文中,我们回顾了变分推理 (VI),这是一种来自机器学习的方法,通过优化来近似概率密度。VI 已在许多应用中使用,并且往往比经典方法更快,例如马尔可夫链蒙特卡罗采样。VI 背后的想法是首先假设一个密度族,然后找到该族中接近目标的成员. 接近度通过 Kullback-Leibler 散度来衡量。我们回顾了平均场变分推断背后的想法,讨论了 VI 应用于指数族模型的特殊情况,展示了一个包含高斯贝叶斯混合的完整示例,并推导出了一个使用随机优化来扩展到海量数据的变体。我们在 VI 中讨论现代研究并强调重要的未解决问题。VI 很强大,但还没有被很好地理解我们写这篇论文的希望是促进对这类算法的统计研究。

它们还为统计学家何时应使用马尔可夫链蒙特卡罗采样以及何时使用变分推理提供了指导(请参阅文章中的比较变分推理和 MCMC段落)。