我一直在阅读在 GAN 中引入光谱归一化的论文。
在某些时候，该论文提到了以下内容：
机器学习社区最近一直在指出，从中选择鉴别器的函数空间对 GAN 的性能有着至关重要的影响。许多著作（Uehara et al., 2016; Qi, 2017; Gulrajani et al., 2017）提倡 Lipschitz 连续性在确保统计有界性方面的重要性。
Lipschitz 连续性保证了统计的有界性是什么意思，为什么会发生这种情况？
为什么 GAN 中的 Lipschitz 连续判别器可以确保统计有界？
人工智能
机器学习
术语
数学
生成对抗网络
2021-11-03 07:26:05
1个回答
简而言之，GAN 存在学习率不均的问题。想象一下投手和击球手的学习率，如果投手的投球能力远高于击球手的击球水平，那么击球手可能会掉进“训练坑”，永远无法学习如何击球。投手。
这遵循了两个学习率之间的持续关系，如果投手以更快的速度成为更好的投手，他们可能会变得太好，从而使击球手无法学习。因此，必须“放慢”速度，以确保投手不会破坏击球手。
如果任一函数的 Lipschitz 连续函数的锥体超过/超过另一个，则必须放慢前面的学习速度，以便另一个赶上。
两个跑步者试图在运动上互相推动是另一个例子。如果一个人超过另一个人，那么在试图跟上步伐的同时，落后的人可能会受到伤害，当对抗网络变得太擅长生成训练材料时，落后的网络还没有准备好学习。
当学习率被调整以人为地减慢快速学习者时，GAN 会做得最好。
如果学习率没有得到检查，则统计数据将无法正确界定，类似于步长需要正确以找到局部最小值和最大值。如果学习不是人工增强的，那么两者都保持相对相同的速度，就会出现局部最小值和最大值。