我的理解模式崩溃是当数据集中恰好有多个类并且生成网络只收敛到这些类中的一个并仅在该类中生成图像时。在对模型进行更多训练时,模型会收敛到另一个类。
在 Goodfellows NeurIPS 演讲中,他清楚地阐述了如何以对抗方式训练生成网络来避免模式崩溃。GAN 究竟是如何避免模式崩溃的?之前关于生成网络的工作没有试图解决这个问题吗?
除了明显的优越性能(通常)之外,GAN 的地址模式崩溃是否使它们比其他训练生成模型的方法更受欢迎?
我的理解模式崩溃是当数据集中恰好有多个类并且生成网络只收敛到这些类中的一个并仅在该类中生成图像时。在对模型进行更多训练时,模型会收敛到另一个类。
在 Goodfellows NeurIPS 演讲中,他清楚地阐述了如何以对抗方式训练生成网络来避免模式崩溃。GAN 究竟是如何避免模式崩溃的?之前关于生成网络的工作没有试图解决这个问题吗?
除了明显的优越性能(通常)之外,GAN 的地址模式崩溃是否使它们比其他训练生成模型的方法更受欢迎?
我认为他根本没有这么说。回到谈话你会看到他提到模式崩溃来自于使用基于交替梯度的优化步骤的天真,因为那时开始看起来很像.
这是有问题的,因为在后一种情况下,生成器具有将所有生成的输出转换为判别器认为可接受的单一模式的明显最小值。
从那时起,已经做了很多工作来处理这个故障点。例子包括Unrolled GANs(他在演讲中提到了这个),你基本上可以让生成器优化鉴别器的想法在未来的步骤,以确保订购游戏和Wasserstein GANs,您首先关注一个不同的指标,该指标仍然具有相同的全局最小值,但允许并行训练完全消除排序和失败模式。除此之外,还完成了其他工作,这只是两个重要的例子。
关于它们如何与其他生成模型(如 VAE)相比,没有一个比另一个更好。GANs 最近在经验上的成功是它们如此受欢迎的原因,但我们仍然看到其他一些在实践中也被使用。