我正在使用生成对抗网络 (GAN)，我目前的目标之一是在二维中重现样本，这些样本按圆形分布（参见动画）。当使用具有小型网络（3 层，每层 50 个神经元）的 GAN 时，结果比使用更大层（3 层，每层 500 个神经元）更稳定。所有其他超参数都是相同的（请参阅下面我的实现细节）。

我想知道是否有人解释为什么会这样。我显然可以尝试调整其他超参数以获得良好的性能，但我想知道是否有人对我更改网络大小时需要更改的内容有启发性。

网络/训练参数

我将 PyTorch 与 GAN 的以下设置一起使用：

网络：

• 生成器/鉴别器架构（所有密集层）：100-50-50-50-2（小）；100-500-500-500-2（大）
• Dropout：生成器 p=0.4（最后一层除外），鉴别器 p=0
• 激活函数：LeakyReLU（斜率 0.1）

训练：

• 优化器：亚当
• 学习率：1e-5（两个网络）
• Beta1、Beta2：0.9、0.999
• 批量：50