我担心我的神经网络变得太复杂了。我不想让一半的神经网络什么都不做,只是占用空间和资源。
那么,有哪些检测和防止过拟合的技术来避免此类问题呢?
我担心我的神经网络变得太复杂了。我不想让一半的神经网络什么都不做,只是占用空间和资源。
那么,有哪些检测和防止过拟合的技术来避免此类问题呢?
通常你会跟踪训练损失和验证损失,并应用适当的正则化技术(例如 L1、L2 、 dropout、DropConnect等)。
更有趣的技术是观察网络中参数数量的验证损失(通常由层/特征图的数量控制)。如果验证随着模型复杂性的提高而开始下降,那么您的优化可能很糟糕,或者只是模型记住了所有训练样本并且严重过度拟合。