如何解释神经网络中的损失?

数据挖掘 机器学习 神经网络 美国有线电视新闻网 解释
2021-09-25 07:57:49

我正在研究如何评估卷积神经网络的性能,特别是我已经看到我们必须同时考虑准确性和损失。我不明白为什么我们还要看损失,老实说,我还没有真正清楚地理解损失是什么。我知道这是我们想要最小化的东西,损失越低,性能就越好。

但我也看到,如果损失太低,我们就会过拟合,而且损失和准确率之间存在某种关系,但我不清楚它的真正含义。

对我来说,这个损失概念以及如何单独和相对于准确性来解释它目前似乎是一个抽象的概念。

有人可以帮我澄清这些概念吗?提前致谢。

[编辑] 例如,我得到这个情节:

在此处输入图像描述

我如何解释这个?

据我所见,训练集和测试集的损失似乎以相同的速度减少,我们认为如果发生这种情况,模型是好的,否则我们会遇到过拟合或欠拟合。但我不明白,为什么我们有这个?那么,为什么如果它们接近并以相同的速度下降,我们做得很好,否则不是?

谢谢。

1个回答

从优化的角度思考,损失是收敛指标

NN 可以表示为一个优化问题

在优化算法的上下文中,用于评估候选解决方案(即一组权重)的函数称为目标函数。当我们最小化这个函数时,我们也将其称为损失函数

交叉熵和均方误差是训练神经网络时使用的两种主要损失函数类型。

您绘制的图表仅表明我们的优化问题的两组不同的收敛行为。如果它们分歧太大,我们就会过拟合。如果他们停下来,我们就停止学习。