了解训练和测试损失图

数据挖掘 美国有线电视新闻网 损失函数
2021-10-08 06:16:14

我附上了一个包含下面 6 个子图的图。每个都显示了多个时期的训练和测试损失。仅通过查看每个图表,我如何才能知道哪个是最好的?哪些是过拟合或欠拟合。每个时代哪些变得更糟?

以下是包含 6 个图表的图像。Eac

2个回答

假设对比曲线中的训练集和验证集相同,那么最好的曲线可能是验证损失值最低的曲线

从左到右和从上到下编号你的数字,我会说最好的数字是#5(第二行,第二列)。

现在,让我们分解每个情节中发生的事情:

  1. 非常高的值,看似随机,训练或验证损失没有任何减少:模型没有学习可能模型或优化过程有问题,或者某些超参数值非常错误。

  2. 训练和验证损失的下降值,验证损失与训练损失有差距,并且两者都稳定(即它们都不会降低 - 如果对此有疑问,请给他们更多的训练时间 -):训练似乎好的,但是如果您对模型进行正则化以使您的训练曲线更高而验证曲线更低,那么还有改进的空间。

  3. 最初,两条曲线都下降,然后验证在步骤 800 左右开始上升:过度拟合您应该尝试对模型进行正则化,如果这无效,请使用提前停止来使用在验证数据上表现最佳的模型。你也可以尝试一些超参数调整,或者有一个学习率计划,让它随着时间的推移而变小。

  4. 两条曲线都在下降,似乎他们会继续这样做一段时间:训练还没有结束,让它训练更多时间

  5. 尽管初始平稳,两条曲线都下降,并达到一个低点,训练曲线和验证曲线之间没有间隙:您可能可以改进模型权重初始化无论如何,这个图似乎是最好的,因为验证曲线达到了最低值并且没有过度拟合。

  6. 两条曲线都上升:有问题,可能是你如何定义损失函数优化过程

在您的情节中,我没有看到任何明显的欠拟合情况。在欠拟合的情况下,我们会看到模型学到了一些东西,但训练和验证损失都稳定在过高的值上。这表明模型容量不足,无法正确捕获与标签相关的数据分布。

最佳图是 train 和 cv loss 的图相互重叠的图。在这种情况下,您可以确定它们没有过度拟合,因为模型在训练集上的表现与它一样好。因此,损失曲线位于彼此之上。但它们很可能是欠拟合的。

理解过拟合和欠拟合的一种简单方法是:

1)如果你的训练误差减少,而你的 cv 误差增加,你过拟合

2)如果 train 和 cv error 都增加,你就欠拟合了

在您发布的图表的顺时针方向上,第一个(左上角)图像被理解为非过拟合模型,因为这些图表彼此重叠,但由于图表在特定情况下已经“放大”区域,我们看到的是抖动的图像,因此我们无法得出明确的结论。第二张图看起来很好,因为差距正在缩小,而第三张图开始过度拟合,因为图之间的差距开始扩大。下一张图(最右边)的损失越来越大,这是不好的,当训练和 cv 损失增加时,我们可以说模型拟合不足。下一个启动缓慢的图表似乎收敛得很好。我想说的最后一张图收敛速度很慢,或者收敛有问题,我们需要查看模型和数据。