机器算法验证 - 具有单位高斯的 KL 损失 - 吾爱随笔录

我一直在实现 VAE，并且我注意到简化的单变量高斯 KL 散度的两种不同的在线实现。这里的原始分歧是如果我们假设我们的先验是单位高斯，即和，这将简化为这就是我的困惑所在。虽然我发现了一些具有上述实现的晦涩的 github 存储库，但我发现更常用的是：

K L_{l o s s} = \log (\frac{σ_{2}}{σ_{1}}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2}

$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$

μ_{2} = 0

$\mu_2=0$

σ_{2} = 1

$\sigma_2=1$

K L_{l o s s} = - \log (σ_{1}) + \frac{σ_{1}^{2} + μ_{1}^{2}}{2} - \frac{1}{2}

$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$

K L_{l o s s} = - \frac{1}{2} (2 \log (σ_{1}) - σ_{1}^{2} - μ_{1}^{2} + 1)

$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$

= - \frac{1}{2} (\log (σ_{1}) - σ_{1} - μ_{1}^{2} + 1)

$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$ 例如在官方的Keras 自动编码器教程中。那么我的问题是，我在这两者之间缺少什么？主要区别是在对数项上删除因子 2 而不是平方方差。从分析上讲，我已经成功地使用了后者，因为它的价值。提前感谢您的帮助！