如何识别卷积神经网络中的过拟合?

机器算法验证 机器学习 过拟合 卷积神经网络 辍学
2022-03-11 02:22:54

我知道 dropout 用于减少网络中的过度拟合。这是一种泛化技术。

在卷积神经网络中如何识别过拟合?

我能想到的一种情况是,与测试或验证的准确性相比,我的训练准确性太高了。在这种情况下,模型会试图过度拟合训练样本,而对测试样本表现不佳。

这是指示是否应用 dropout 还是应该将 dropout 盲目添加到模型中的唯一方法,希望它能提高测试或验证的准确性

1个回答

在卷积神经网络中如何识别过拟合?

比较训练的性能(例如准确性)与测试或验证的性能是唯一的方法(这是过度训练的定义)。

在此处输入图像描述

是否应该盲目地将 dropout 添加到模型中,希望它能提高测试或验证的准确性?

辍学通常会有所帮助,但最佳辍学率取决于数据集和模型。Dropout 也可以应用于网络中的不同层。来自Optimizing Neural Network Hyperparameters with Gaussian Processes for Dialog Act Classification 的示例,IEEE SLT 2016。:

在此处输入图像描述

您可能还想提前停止:

在此处输入图像描述