“黑盒变分推理”是什么意思?

机器算法验证 机器学习 神经网络 变分贝叶斯
2022-04-02 09:54:48

我知道变分推理 (VI) 的主题,但是我不确定黑盒 VI 是什么?

特别是,我正在观看David Blei 的视频,标题为黑盒变分推理,在这张幻灯片上,它提到了“黑盒标准”。

我也很感激一个例子。

1个回答

所以他指的是本文介绍的技术:https ://arxiv.org/abs/1401.0118

黑盒 VI 背后的想法是,通常在 VI 中,需要大量工作来决定变分后验并推导出 ELBO 及其梯度。因此,可以轻松实现更通用的算法,并且不需要从业者每次都推导出这些形式。名称的“黑匣子”部分只是因为它是一种有效的通用算法,你不需要考虑里面发生了什么。

本质上,黑盒 VI 是一种针对变分参数生成 ELBO 梯度估计量的方法,对后验分布或变分分布的形式几乎没有约束。这些约束(您提到的黑匣子标准)只是您可以评估变分分布的对数相对于其参数的一阶导数(您应该能够像通常为变分分布选择相对简单的分布一样) )并且您可以评估数据和潜在变量的联合对数(在概率建模设置中再次非常标准)。