读到这里,我发现:
如果鉴别器以太大的优势获胜,则生成器无法学习,因为鉴别器误差太小。
这也是我在其他地方读到的东西,但我无法真正理解。如果判别器的损失很低,这意味着当我给它一个假样本(带有“假”标签)时,它会给我一个低分(假设它的输出是“真实概率”),并且确定性很高,所以我可以想象误差的梯度会很小。
当我训练生成器时,我传递了相同的假图像,但带有“真实”标签。在这种情况下,我希望误差的梯度应该很高,因为我们基本上是在告诉判别器它犯了一个错误(如果判别器的损失很低,这是一个很大的错误),所以误差梯度应该很高,这个梯度将成为生成器进行训练的梯度。