具有高斯混合模型的变分自编码器

机器算法验证 神经网络 自动编码器 变分贝叶斯
2022-03-15 23:25:32

变分自动编码器(VAE) 提供了一种学习概率分布的方法p(X,z)关联输入X对其潜在表示z. 特别是编码器e映射输入X分布在z. 典型的编码器会输出参数(μ,σ)=e(X),代表高斯分布ñ(μ,σ); 这个分布被用作我们的近似值p(z|X).

有没有人考虑过输出是高斯混合模型而不是高斯模型的 VAE?这有用吗?有没有比简单的高斯分布更有效的任务?或者它提供的好处很少?

1个回答

是的,它已经完成了。下面的论文实现了这种形式的东西:

使用高斯混合变分自动编码器进行深度无监督聚类Nat Dilokthanakul、Pedro AM Mediano、Marta Garnelo、Matthew CH Lee、Hugh Salimbeni、Kai Arulkumaran、Murray Shanahan。

他们尝试使用这种方法进行聚类。高斯混合中的每个高斯对应一个不同的簇。因为高斯混合在潜在空间(z),并且有一个神经网络连接zX,这允许输入空间中的非平凡聚类(X)。

该论文还提到了以下博客文章,该文章对该架构进行了不同的变体实验:http ://ruishu.io/2016/12/25/gmvae/

感谢 shimao 指出这一点。