均方误差可以为负吗?

人工智能 机器学习 梯度下降 目标函数
2021-10-18 02:45:39

我是机器学习的新手。我正在观看 Andrew Ng 教授关于机器学习在线课程中梯度下降的视频。它说我们希望我们的成本函数(在本例中为均方误差)具有最小值,但图中显示的最小值不是 0。它是一个负数!

考虑到实数的平方总是正的,我们的成本函数(即均方误差)怎么会有负值呢?即使有可能,我们不希望我们的错误为 0 吗?

3个回答

一般来说,成本函数可以是负的。当然,负数越多越好,因为您正在衡量成本,目标是使其最小化。

标准均方误差函数不能为负数。可能的最低值是0,当任何示例输入没有输出错误时。

我们的成本函数(均方误差)怎么可能小于 0?

这不可以。你没有链接你看到这个的精确图表或讲座,但我怀疑 Andrew Ng 为任何成本函数绘制了一个代表性图表,以指出它通常具有最佳的最小值。他可能同时以 MSE 为例进行了讨论。

许多损失或成本函数的设计绝对最小值0可能的“无错误”结果。在监督学习中,这通常是基于模型输出和期望输出之间差异的成本的简单结果。所以在回归和分类的监督学习问题中,你很少会看到一个负的成本函数值。但原则上并没有绝对的规则反对负成本。

均方误差项必须为正,因为数字的平方为正。因此总和(成本)为正。误差是假设和观察之间的差异。

我将专注于理解为什么 Ng 试图最小化 J 以及它是如何通过矩阵实现通过偏导数实现的。

我也在看同样的课程,我认为在示例图中,成本函数不是 MSE(均方误差)的总和,但它可能是三次方,因此是三次方误差的总和,因此成本函数可能为负:由于成本函数有多种,MSE 并不适用于所有问题,其他公式可能会更好。