深度神经网络是图形模型吗?
在 NIPS 的演讲中,他们说:
GAN 和 VAE 是图形模型,只是具有特定的 CPD 和成本函数。它们是二部完全图。
这怎么解释?我认为您需要模型中包含的概率,变量具有依赖关系。在神经网络中,它们有各种各样的其他东西,如 ReLu 节点等。即没有概率关系,只有一系列非线性以及诸如正则化或卷积结构等先验。
深度神经网络是图形模型吗?
在 NIPS 的演讲中,他们说:
GAN 和 VAE 是图形模型,只是具有特定的 CPD 和成本函数。它们是二部完全图。
这怎么解释?我认为您需要模型中包含的概率,变量具有依赖关系。在神经网络中,它们有各种各样的其他东西,如 ReLu 节点等。即没有概率关系,只有一系列非线性以及诸如正则化或卷积结构等先验。
如果专注于生成部分,GAN 和 VAE 在数学上实际上是同一个对象(1),即高斯潜变量模型,其中是指向观察到的的潜在高斯随机变量:
不同之处在于,VAE 是输出具有概率密度的随机变量的规定模型,而 GAN 是直接指定生成数据的(确定性)程序的无似然隐式模型(2)。
具体来说,VAE 的图模型实现为解码器/推理网络,而 GAN 的图模型实现为生成器网络;GAN 的鉴别器网络没有出现在图形模型中(类似于 VAE 的编码器/识别网络没有出现),因为它只是为逼近 Jensen-Shannon 散度或其他 f-散度而创建的辅助对象 (1) :
(图片来自Lilian Weng)
(1):我已经链接了来自 DeepMind 的 Shakir Mohamed 和 Danilo Rezende 在 UAI 2017 上的教程视频录制的相关时间戳(幻灯片);Ferenc Huszar 还解释了 Reddit 上的等价性。VAE 的图形模型也在斯坦福的“CS236 Deep Generative Models”笔记中进行了解释。
(2): Shakir 等人的“Learning in Implicit Generative Models”中更详细地描述了规定模型和隐含模型之间的区别。(2016 年)。
On Unifying Deep Generative Models (Hu et al., 2017)说明了包含 GAN 生成器和鉴别器的增强图形模型,以及我们假设完美鉴别器的 VAE 的类似模型。
实线箭头表示生成过程;虚线箭头表示推理;空心箭头表示导致隐式分布的确定性变换;蓝色箭头表示对抗性目标。
您可以将深度神经网络视为图形模型,但在这里,CPD 不是概率性的,而是确定性的。例如,考虑一个神经元的输入是而神经元的输出是。在这个神经元的 CPD 中,我们有和对于。有关详细信息,请参阅深度学习手册的第 10.2.3 节。y