神经网络 - 损失和准确性相关性

数据挖掘 神经网络 评估
2021-10-14 04:06:25

我对神经网络中损失和准确性指标的共存感到有点困惑。两者都应该呈现比较的“精确性”yy^,不是吗?那么这两个冗余的应用不是在训练时期吗?此外,为什么它们不相关?

3个回答

对数损失有一个很好的特性,它是一个可微的函数。准确性可能更重要,并且肯定更易于解释,但由于反向传播算法要求损失函数是可微的,因此不能直接用于网络训练。当您的首选损失不能直接优化(如准确性)时,您可以使用行为类似的损失函数来代理真实指标。在二进制分类的情况下,您将在最后使用 sigmoid 并使用对数损失来近似准确度。它们高度相关。

损失比准确性更普遍。在分类中,您可以达到 100% 的准确率,其中所有标签都被正确预测。但是回归或预测呢?没有 0% 和 100% 的定义

可以使用各种方法优化损失。在数值方法课程中,您学会了通过优化函数来求解函数(即最小化|yhaty| ) 用牛顿法、二等分法等各种方法。

是的,它们都测量 y 和 y_hat 的准确性,是的,它们通常是相关的。有时损失函数可能不准确,但即使您没有直接优化它,您仍然对测量准确度感兴趣。Google 的 TensorFlow MNIST 示例最小化/优化交叉熵损失,但在报告结果时向用户显示准确性,这完全没问题。

有时您不想直接优化准确性。例如,如果你有严重的类不平衡,你的模型将通过简单地总是选择最常见的类来最大化准确性,但这不是一个有用的模型。在这种情况下,熵/对数损失将是一个更好的优化损失函数。