变分贝叶斯与蒙特卡洛相结合

机器算法验证 变分贝叶斯
2022-03-12 02:08:24

我正在阅读变分贝叶斯,据我所知,它归结为你近似的想法p(zx)(在哪里z是模型的潜在变量,并且x观察到的数据)具有函数q(z), 假设q分解为qi(zi)在哪里zi是潜在变量的子集。然后可以证明最优因子qi(zi)是:

qi(zi)=lnp(x,z)z/i+const.

其中尖括号表示对所有潜在变量的期望,除了zi关于分布q(z).

现在,通常对这个表达式进行分析评估,以给出近似目标值的准确答案。然而,我突然想到,由于这是一个期望,一个明显的方法是通过抽样来近似这个期望。这将为您提供一个近似目标函数的近似答案,但它提供了一个非常简单的算法,也许适用于分析方法不可行的情况。

我的问题是,这是一种已知的方法吗?它有名字吗?是否有原因导致它不能很好地工作,或者可能不会产生如此简单的算法?

1个回答

我承认这不是我非常了解的领域,所以对此持保留态度。

首先,请注意,您所提出的并没有产生如此简单的算法:为了计算新的qi,我们不需要计算单个期望值(如均值或方差),而是整个函数的期望值。这在计算上很困难,并且需要您逼近真实的q由一些q~(例如,我们可能会找到一个直方图近似)

但是,如果你要限制qi对于一个小的参数族,一个更好的主意可能是使用随机梯度下降来找到最佳参数值(参见:Variational bayesian inference with stochastic search,2012,Paisley,Blei,Jordan)。他们计算的梯度与您编写的非常相似:他们从当前未优化的所有近似值中采样。

所以你提出的并不是那么简单,但它非常接近最近提出的实际方法