GAN:为什么太好的鉴别器应该提供“小错误”?

机器算法验证
2022-03-03 23:57:06

读到这里,我发现:

如果鉴别器以太大的优势获胜,则生成器无法学习,因为鉴别器误差太小。

这也是我在其他地方读到的东西,但我无法真正理解。如果判别器的损失很低,这意味着当我给它一个假样本(带有“假”标签)时,它会给我一个低分(假设它的输出是“真实概率”),并且确定性很高,所以我可以想象误差的梯度会很小。

当我训练生成器时,我传递了相同的假图像,但带有“真实”标签。在这种情况下,我希望误差的梯度应该很高,因为我们基本上是在告诉判别器它犯了一个错误(如果判别器的损失很低,这是一个很大的错误),所以误差梯度应该很高,这个梯度将成为生成器进行训练的梯度。

1个回答

您可能会在这篇论文“训练生成对抗网络的原则方法”(https://arxiv.org/pdf/1701.04862.pdf)中找到答案。它有一部分解释了为什么生成器的梯度随着鉴别器的增强而消失。