我一直在阅读原版 Goodfellow 等。人。关于生成对抗网络的论文以及它们获得判别网络或自动编码器后验分布估计的方式。现在通常从后验生成估计的东西涉及 MCMC 抽样方案,或者在某些情况下是先验的共轭。
所以我想知道是否有人可以澄清 GAN 是否可以替代 MCMC 采样,或者是否有只有 MCMC 可以工作的领域?
我一直在阅读原版 Goodfellow 等。人。关于生成对抗网络的论文以及它们获得判别网络或自动编码器后验分布估计的方式。现在通常从后验生成估计的东西涉及 MCMC 抽样方案,或者在某些情况下是先验的共轭。
所以我想知道是否有人可以澄清 GAN 是否可以替代 MCMC 采样,或者是否有只有 MCMC 可以工作的领域?
马尔可夫链蒙特卡洛 (MCMC) 和生成对抗网络 (GAN) 的生成器网络都从概率分布返回样本。
但是,它们解决了不同的问题:
MCMC在已知每个配置的概率公式时起作用(不需要标准化)。一个经典的例子是Ising 模型,其中配置的概率为, 在哪里是逆温度。为了进行采样,我们可以使用Metropolis-Hasting MCMC 算法——翻转一次自旋,概率与状态的能量相关。MCMC 通常用于贝叶斯统计中的集成。原则上(给定无限时间)我们总是得到准确的数值结果。
在GAN 中,我们不知道概率分布。相反,我们知道一些样本,我们希望从这些样本中根据这个概率分布创建一个采样器。我们没有得到一个函数来说明给定样本的概率是多少(至少,在典型的鉴别器网络中,它只猜测样本是真实的还是生成的)。此外,在 GAN 的情况下,问题是模糊的——函数取决于神经网络架构、训练过程和其他因素。一般来说,有无数种方法可以将离散的样本集转化为概率分布(采样器)。
GAN 和 MCMC 并不排斥。正如@shimao 已经指出的那样,您可以结合Metropolis-Hastings Generative Adversarial Networks (2018)中的这两种方法。
此外,还有功能重叠,可以使用其中任何一个。例如,可以使用 GAN 或 MCMC 生成模式(这里有一些使用 ConvChain 的漂亮示例)。在后者中,我们通常更可靠且对数据的需求更少,但我们需要将输入转换为概率(基于一些假设)。