epoch 的数量会影响过拟合吗?

数据挖掘 机器学习 深度学习 神经网络 卷积神经网络 过拟合
2021-09-29 00:30:40

我正在使用卷积神经网络,CNN. 在特定的时期,我只保存最佳的 CNN 模型权重,基于比以前时期提高的验证准确度。

增加 epoch 的数量是否也会增加过度拟合CNNs和深度学习?

2个回答

是的,可能。在机器学习中,有一种称为提前停止的方法。在这种方法中,您可以绘制训练和验证数据的错误率。横轴是 ,number of epochs纵轴是error rate当验证数据的错误率最小时,您应该停止训练。因此,如果您增加 epoch 的数量,您将拥有一个过拟合的模型。

在深度学习时代,早停已经不是那么习惯了。这有不同的原因,但其中之一是深度学习方法需要如此多的数据,并且绘制所提到的图表会非常波动,因为这些方法使用类似随机梯度的优化。再次在深度学习中,如果你在训练数据上训练了这么多,你可能会有一个过度拟合的模型。为了处理这个问题,另一种方法被用来避免这个问题。将噪声添加到模型的不同部分,例如退出或以某种方式使用适度的批大小进行批标准化,有助于这些学习算法即使在经过这么多 epoch 之后也不会过度拟合。

一般来说,太多的时期可能会导致您的模型过度拟合训练数据。这意味着您的模型不会学习数据,它会记住数据。您必须找到每个时期或迭代的验证数据的准确性,以调查它是否过拟合。

是的。越来越多的 epoch 过拟合 CNN 模型。发生这种情况是因为缺乏训练数据或模型过于复杂,具有数百万个参数。为了处理这种情况,选项是

  1. 我们需要想出一个简单的模型来学习更少的参数
  2. 通过扩充添加更多数据
  3. 向密集层或卷积层添加噪声
  4. 添加退出层
  5. 添加 l1 或 l2 正则化器
  6. 添加提前停止
  7. 检查验证数据的模型准确性
  8. 提前停止将告诉您适当的时期,而不会过度拟合模型