您如何计算 VAE 的对数似然 p(x)?

机器算法验证 自动编码器 变分贝叶斯 可能性 生成模型
2022-04-16 04:09:23

我正在阅读Importance Weighted Autoencoders 论文,其实验部分比较了 MNIST 上 IWAE 与 VAE 的密度估计结果。我知道在模型下估计测试集示例的密度估计 log p(x)(其中 x:观察到的数据,z:潜在),并且更高的 log p(x) 更好。但是,如何使用 VAE 计算测试集数据的 log p(x)?我认为这涉及计算一个棘手的积分,但该论文包含了许多不同 VAE 配置下的 log p(x) 统计数据,而没有提及它们是如何计算这些值的。提前致谢!

1个回答

IWAE ELBO 提供了与真实对数似然的更紧密的界限logp(x). 随着重要性加权样本的数量,这个界限变得更紧k增加。

因此,作者选择了一个足够大的k, 在本文中k= 5000,将测试数据的真实可能性近似为logp(x)^. 因此,可以假设logp(x)logp(x)^=Lk=5000.

正如@CP Tai 在评论中所指出的,您可以在第 7 页起的论文中找到有关它的更多信息。