在最小损失区域验证准确率高于测试准确率的情况

数据挖掘 机器学习 深度学习
2022-02-17 04:13:31

在此处输入图像描述

这种情况就是一个例子。

在 epoch = 800 左右,我们有验证损失(橙色线)达到其最小区域。

  • 我们是否应该将模型的准确率记录为 780 到 800 纪元的平均值?或者我们应该在它几乎变成一条直线后(在 epoch = 1200 之后)取精度?

  • 如果我们在验证损失的最小点记录准确性。准确率可能不是最高的。例如,在epoch = 800, val_loss = 0.627,val_accuracy = 0.783epoch=909, val_loss = 0.624, val_accuracy = 0.761

在这种情况下,最好的方法是什么?

谢谢

1个回答

假设目标是给出模型的真实性能,那么应该是在测试集上应用最终模型得到的性能。在训练期间可以观察到验证集的性能这一事实是无关紧要的。

所以问题就变成了:在训练过程中观察验证集的表现,你应该选择哪个模型?您可以选择提供最大准确度的模型,但是当您在新的测试集上对其进行评估时,才能获得真正的性能。

第二个问题取决于您要优化哪个性能指标:如果您想优化准确度,那么您应该选择获得最高准确度的模型。