准确率直线上升约 200 个 epoch,然后开始增加

数据挖掘 机器学习 深度学习
2022-03-03 03:13:35

谁能解释以下观察结果?

为什么准确率一直保持在一条直线上,损失的下降非常平滑?

顺便说一句,为什么前 400 个 epoch 的损失线如此平滑?

这是因为学习率还是其他原因?

在此处输入图像描述

1个回答

准确度取决于阈值,而损失不取决于阈值。ML 软件倾向于假设阈值为 0.5,这在类不平衡的情况下并不合适。

我相信,直到 epoch 500,您的模型正在学习(损失正在下降),但默认阈值不允许您从准确性方面看到它。

如果您选择另一个阈值,您可能会看到不同的结果。

关于从平滑到嘈杂的损失,可能是它首先学习“简单案例”,然后非常容易平滑地减少,在 400-500 epoch 之后它开始过度拟合一些“困难案例”,因此损失变得更加嘈杂。