变分自动编码器与受限玻尔兹曼机

机器算法验证 机器学习 神经网络 无监督学习 自动编码器 受限玻尔兹曼机
2022-03-22 00:29:25

变分自动编码器 (VAE) 和受限玻尔兹曼机 (RBM) 之间的建模能力有何不同?

我感兴趣的是了解无监督学习能力的差异。VAE 在哪些方面比 RBM 更有效,反之亦然?还有什么 RBM 可以捕捉到 VAE 不能捕捉到的?

我已经知道这篇文章,并且我知道 VAE 和 RBM 的概念。这个很简短,不是我要找的。

有没有人知道对一个人的建模能力有任何(理论上的)限制以使另一个人变得更好?

1个回答

从理论上讲,RBM ​​是无向模型,在任何观察变量或任何潜在变量之间都没有联系,VAE 是具有连续潜在变量的有向模型。

深度学习一书(第20 章深度生成模型)很好地总结了 VAE 和所有类型的 RBM 的优缺点。

引用一些

VAE 框架可以非常直接地扩展到各种模型架构。这是玻尔兹曼机器的一个关键优势,玻尔兹曼机器需要极其仔细的模型设计才能保持可处理性。


变分自编码器为任意计算图定义,这使其适用于更广泛的概率模型族,因为没有必要将模型的选择限制为具有易处理的平均场不动点方程的模型。


变分自动编码器的一个非常好的特性是,同时训练参数编码器与生成器网络相结合,迫使模型学习编码器可以捕获的可预测坐标系。这使它成为一个优秀的流形学习算法。