在 GAN 架构中,在训练期间,是什么让生成器的输出依赖于输入噪声?为什么噪声输入的权重不为零(加上偏差)?我希望生成器收敛到输出一张非常真实且与真实图片无法区分的单张图片,并一起忽略噪声,因为这是一种“更便宜”的方式(收敛时间和使用的参数数量) ) 以减少生成器的损失。
GAN - 为什么生成器不消除噪声输入?
数据挖掘
神经网络
甘
生成模型
2022-02-23 07:07:13
2个回答
如果生成器总是输出相同的图像,那么判别器很容易赢得比赛,并将生成器的输出与训练集中的随机图像区分开来:如果判别器的输入是那个图像,那么它输出“来自生成器”,否则输出“来自训练步骤”。游戏设置为使生成器因欺骗判别器而获得奖励。总是输出相同的图像不会欺骗鉴别器。
更具体地说,比如说,你在 MNIST 上训练一个 GAN 来教它画出逼真的数字。
比如说,生成器学会了画一个完美的 9,并且总是独立于噪声来绘制它。然后,鉴别器将很快学会丢弃所有 9,无论是真假还是假:最好是在真实集合的 1/10(全集合的 1/20)上关闭,从而导致 5% 的总错误,而不是猜测(50% proba)超过假九分(整个假组,整组的 1/2)导致 25% 的总错误。
因此,生成器将不得不学习绘制其他东西,也许它会尝试所有 5 或其他东西,但它必须摆脱这种模式:仅通过匹配真实集合的分布(生成每个数字的 1/10 ) 是否会阻止鉴别器快速有效地丢弃其所有产品。
我有一个(非常)简单的实现,而且,有效地,它总是从独立于噪声的情况下绘制相同的数字开始,然后,它很快就摆脱了这种模式并开始绘制多个数字。最后,它吸引了每个人的大约 1/10 :)
其它你可能感兴趣的问题