我的学习曲线表现得很奇怪，我不知道我做错了什么还是因为数据集的性质。我正在使用具有 (30,30,15,1) 层的神经网络和用于训练的“ReLU”激活函数和用于输出层的线性。我的学习曲线在学习时表现出奇怪的行为。在 100 个 epoch 左右的验证曲线上有一个像增加和减少一样的颠簸，我不知道来源或如何解决它（或者即使它需要解决）。有人可以帮我吗？（欢迎任何相关评论）
CV 分数曲线的一个凸起！这是什么意思？
数据挖掘
神经网络
训练
2022-02-20 10:32:24
1个回答
这种模式在神经网络训练中很常见。
训练性能是对偏差的估计，验证性能是对方差的估计。最初两者都下降。偏差继续下降，但方差上升。这就是经典的偏差-方差权衡。然而，在神经网络中，方差将再次开始下降。这被称为“双下降曲线”。
目前尚不清楚为什么神经网络训练会显示出这种“双下降曲线”。一个想法是，这种模式可能是两条曲线的串联。一条曲线可能来自优化，另一条曲线可能来自采样。论文“ A Modern Take on the Bias-Variance Tradeoff ”对此进行了更详细的介绍。