数据挖掘 - 对抗性自动编码器中鉴别器的目的是什么？ - 吾爱随笔录

数据挖掘无监督学习自动编码器甘

2022-02-05 16:04:55

这特定于 A. Makhzani 等人提出的生成对抗网络 (GAN)。“对抗性自动编码器”。在传统的 GAN 中，判别器被训练来区分真实样本 $p(x)$ 来自生成器输出的假生成样本。另一方面，变分自编码器对潜在代码使用鉴别器 $z$ 而不是原始样本。

我无法理解的是鉴别器如何能够区分潜在代码的先验分布 $p(z)$ 和后验分布 $q(z)$ . 判别器模型试图区分非样本的原因是什么 $x$ ，就像在传统的 GAN 中一样？这个鉴别器应该在自动编码器的其余部分之前训练吗？

1个回答

事先分配的目的 $p(z)$ 在任何生成对抗网络中都是能够平滑匹配潜在代码 $z$ 在输入的已知分布中 $x$ 在域中，反之亦然。一个简单的自动编码器的编码器，除了典型的流水线之外没有任何额外的措施

x \to E \to z \to D \to x^{'}

$x \rightarrow E \rightarrow z \rightarrow D \rightarrow x'$ 只需要

x

$x$ 接近

x^{'} = D (E (x))

$x' = D(E(x))$ ，为此，解码器可以简单地学习重构

x

$x$ 无论从获得的分布

E

$E$ . 这意味着

p (z)

$p(z)$ 可能非常不规则，使得新样本的生成不太可行。即使对瓶颈向量进行了细微的更改，我们也不能确定编码器是否能够使用任何

x

$x$ .

然而，在对抗性自动编码器 (AAE) 中，编码器的工作是双重的：它将输入编码为 $p(x)$ 到相应的代码 $q(z)$ 以便：

后一项任务得到有效执行，因为鉴别器收到：

即使鉴别器一开始可能对这两个分布中的任何一个都不了解，也只是在它知道之前进行足够的迭代。理想的编码器将设法欺骗鉴别器，使其在鉴别过程中具有大约 50% 的准确度。

另请注意 $p(x)$ 可能不仅仅是高斯或均匀分布（例如，某种噪声）。引用 Goodfellow 的深度学习一书（第 20 章）：

在开发生成模型时，我们经常希望扩展神经网络以实现 $x$ . 一种直接的方法是用额外的输入来增强神经网络 $z$ 从一些简单的概率分布中采样，例如均匀分布或高斯分布。然后神经网络可以继续在内部执行确定性计算，但是函数 $f(x, z)$ 对于无法访问的观察者来说，这将是随机的 $z$ .

尽管去噪自编码器依靠这方面来学习忽略样本噪声的模型，但关于 AAE 的同一篇论文（第 2.3 节）表明，将噪声与类的单热编码向量相结合可用于合并有关样本的标签信息. 此信息仅提供给鉴别器，但仍会影响编码器的生成方式 $q(z)$ .

其它你可能感兴趣的问题