为什么增加验证损失和验证准确性意味着过度拟合?

数据挖掘 机器学习 神经网络 深度学习 训练 过拟合
2021-10-13 20:19:08

当我训练一个神经网络时,我观察到验证损失增加,同时验证准确度也增加了。

我已经阅读了与该现象相关的解释,似乎越来越多的验证损失和验证准确性意味着模型过度拟合。

然而,我并没有真正理解为什么增加的验证损失和验证准确度意味着过度拟合。

您能否解释一下这种现象背后的原因?

2个回答

过度拟合是指您的模型正在记忆训练数据,因此它无法泛化到看不见的数据,例如验证集。

这样,当训练损失减少但验证损失增加时,您会看到过度拟合。

在验证损失增加的同时,验证准确度也会增加这一事实是一个单独的影响。为了理解它,我们应该考虑到准确率是通过将 softmax 的最高输出与正确标签进行比较来计算的,并且它不会根据 softmax 输出的实际值而变化,这是验证损失所考虑的.

这可能在学习过程中发生。

0.850.850.850.450.45

0.750.750.750.550.45

0.650.650.650.550.55

准确性正在提高,但模型对预测的信心降低。

另一个需要注意的重点是度量不是学习过程的一部分,它是根据阈值和不同的函数/公式计算的。而损失直接推动了学习。

因此,如果 Val loss 向上移动,则意味着模型表明它正在成为一个更好地代表训练数据模式而不是验证数据模式的函数因此过度拟合