证据下界（ELBO）可以最大化，从而找到目标分布的最合适的近似分布，相当于相应的Kullback-Leibler散度的最小化。介绍变分自动编码器 (VAE)的论文使用 SGVB（随机梯度变分贝叶斯）公式而不是 ELBO。这些有什么区别？
ELBO和SGVB有什么关系？
机器算法验证
机器学习
自动编码器
kullback-leibler
变分贝叶斯
差异
2022-04-04 11:28:55
1个回答
证据下限是数据对数概率的界限。但是没有直接的方法来计算 ELBO，因为它需要对变分后验进行期望。因此，我们需要一个估计 ELBO 的程序（更具体地说，我们需要某种方法来估计 ELBO 的梯度，以便我们对其进行优化）。
直接的方法是简单地通过从变分后验采样来估计期望，然后使用得分函数梯度估计器计算估计器的梯度。然而，这种方法的方差对于实际使用来说太高了，这就是作者介绍他们的“SGVB”估计器的原因。