如何解释 WGAN 中的判别器和生成器损失

机器算法验证 生成模型
2022-04-08 14:27:36

我以 0.00002 的学习率训练了 GAN,每个 epoch 训练了一次判别器,训练了两次生成器。Wasserstein损失用作损失函数

在此处输入图像描述

这是判别器和生成器的损失图,x 轴是时期,y 轴是获得的损失。

我再次训练了另一个学习率为 0.00002 的 GAN,判别器训练一次,生成器每个 epoch 训练一次。

在此处输入图像描述

如何解释损失图?在第一个图生成器中具有负损失,在第二个图鉴别器中具有负损失。我们可以对生成器产生负损失吗?为什么我们会得到负损失?

1个回答

几点说明

  • 您提到您正在使用 WGAN,如果您还没有使用,我强烈建议您使用梯度惩罚而不是裁剪。
  • 生成器损失在 WGAN 中意义不大。同样,一般来说,负数没有任何问题。
  • 阅读 WGAN 论文。理论很密集,但那里有重要的细节。
  • 例如,你应该训练你的鉴别器而不是你的生成器。推荐值为每个生成器迭代器 5-10 个鉴别器迭代器。
  • 鉴别器损失是生成器分布和数据分布之间的负 Wasserstein 距离(近似值)。所以它实际上对诊断非常可解释和有用。