“黑盒变分推理”是什么意思?
机器算法验证
机器学习
神经网络
变分贝叶斯
2022-04-02 09:54:48
1个回答
所以他指的是本文介绍的技术:https ://arxiv.org/abs/1401.0118
黑盒 VI 背后的想法是,通常在 VI 中,需要大量工作来决定变分后验并推导出 ELBO 及其梯度。因此,可以轻松实现更通用的算法,并且不需要从业者每次都推导出这些形式。名称的“黑匣子”部分只是因为它是一种有效的通用算法,你不需要考虑里面发生了什么。
本质上,黑盒 VI 是一种针对变分参数生成 ELBO 梯度估计量的方法,对后验分布或变分分布的形式几乎没有约束。这些约束(您提到的黑匣子标准)只是您可以评估变分分布的对数相对于其参数的一阶导数(您应该能够像通常为变分分布选择相对简单的分布一样) )并且您可以评估数据和潜在变量的联合对数(在概率建模设置中再次非常标准)。
其它你可能感兴趣的问题