是否建议使用欠拟合但精度非常高的模型?

数据挖掘 分类 图像分类 计算机视觉 损失函数 法泰
2021-10-10 11:31:18

我正在为 Vision 中的单标签分类任务训练模型。在本次培训中,我使用了所有类的过采样、MixUp 增强以及旋转和二面角变换来增强数据。

发生的情况是,模型在经过 20 个 epoch 的训练后,达到了<8%验证损失(CE损失)和98%预测验证集中图像标签的准确性。

问题是模型欠拟合虽然准确率极高,验证损失极低,但训练损失相当高75%.

我应该在生产中使用这个模型吗?该模型虽然对训练数据欠拟合,但在预测验证集中的标签时达到了非常高的准确率,而且验证损失也极低。

我应该在生产中使用欠拟合模型吗?

这是最后两个时期的样子 -

时代 train_loss 有效损失 准确性
18 0.764258 0.150605 0.963151
19 0.763108 0.152006 0.961245

如果您可能会问,如果模型欠拟合,我在做什么添加增强,但如果我不添加这些增强,模型将开始过度拟合,验证损失和准确性将开始变差。

我不是在问如何让欠拟合消失,我可以通过运行 20 个以上的训练来做到这一点。我在问是否可以在生产中使用这样的模型。

2个回答

更一般地说,这表明存在问题。在您的上下文中,您确信测试集代表了预期的生产设置,并且训练集的较低分数可能是由于增强,我认为您可能可以继续进行。

为了更有信心,我想评估由于增强而导致训练分数低的假设;你能评估原始的训练集吗?

换句话说,您的模型在训练数据上的学习效果不是很好,但尽管如此,它对测试数据的预测效果很好,对吧?

简短的回答是否定的,因为在生产中存在很大的偏差结果风险。

长答案是您必须知道测试数据是否足以代表生产数据。

您是否也对测试数据使用相同的扩充?