检测和防止过拟合的技术有哪些?

人工智能 参考请求 优化 深度神经网络 过拟合 概括
2021-11-05 06:49:46

我担心我的神经网络变得太复杂了。我不想让一半的神经网络什么都不做,只是占用空间和资源。

那么,有哪些检测和防止过拟合的技术来避免此类问题呢?

1个回答
  1. 通常你会跟踪训练损失和验证损失,并应用适当的正则化技术(例如 L1、L2 、 dropoutDropConnect等)。

  2. 更有趣的技术是观察网络中参数数量的验证损失(通常由层/特征图的数量控制)。如果验证随着模型复杂性的提高而开始下降,那么您的优化可能很糟糕,或者只是模型记住了所有训练样本并且严重过度拟合。