哪个模型更好,一个是在过拟合之前的精度更高,一个是没有过拟合但精度较低?

数据挖掘 机器学习 美国有线电视新闻网 准确性 过拟合
2022-02-17 15:06:02

我正在训练一个 CNN 模型。

在第一个训练中,我在第 5 个 epoch 获得了 87%(0.29 损失)的训练准确度和 87%(0.30 损失)的验证准确度,我继续训练它总共 15 个 epoch,并且正如预期的那样,它开始过度拟合,训练准确度增加到97%(0.01 损失)和验证保持在 87%(0.35 损失)。

在第二个模型中,我使用 Data Augmentation 和 Dropout 层来处理过度拟合(总共训练了 10 个 epoch)。这些是结果:第 5 个 Epoch:训练准确度 77%(损失 0.45)和验证准确度 77%(损失 0.41)。10th Epoch:训练准确率 82%(损失 0.38)和验证准确率 82%(损失 0.35)

从您可以在下面看到的损失和准确度图表中,很明显模型在第一种情况下过度拟合,但在第二种情况下它没有过度拟合。

情景一

在此处输入图像描述

方案二

在此处输入图像描述

我的问题是,根据准确性,哪种模型在现实世界中更好?模型 1 在 epoch 5 以 87% 的准确率停止,或者模型 2 没有以 82% 的准确率过拟合(验证)?我理解仅基于精度模型 1 听起来更好,但它最终会过度拟合,但如果我使用提前停止或类似的方法停止训练,这会比我的第二个模型更好吗?

2个回答

现在我会说模型 1 更好,因为它有更好的验证结果(如果你在 epoch 5 使用模型,而不是过度拟合的模型)。

但是,我将继续对模型 2 进行更多的训练,并检查结果是否有所改善。

您需要在这里考虑的是从您的模型中考虑错误预测的成本并考虑 F1 分数。还要考虑你的班级分布。否则这两个模型乍一看并没有太大的不同。