机器学习:为什么成本函数的误差需要平方?

数据挖掘 机器学习 预测建模 统计数据
2022-03-08 07:25:30

我最近在 Coursera 上开始了 Andrew NG 的机器学习课程,我遇到了这个成本函数:

在此处输入图像描述

为什么成本函数中的误差需要平方?如果它的目的是消除错误中的负号,那么我们为什么不简单地使用绝对函数呢?

2个回答

简单的答案是它是便利而不是必需品。非常欢迎您采用绝对值,在许多情况下这样做可能会更好。对函数求平方使数学变得更快乐、更容易,并且证明具有理想的特性。虽然您基本上可以使用绝对值函数进行相同的证明,但您可能必须处理某些极端情况并且只需要更多的写作。

我们使用成本函数来计算一组指定权重的误差量。我们应该找到最小化成本函数的权重。用于最小化成本函数的方法是基于梯度。意味着您应该朝着使错误最小化的方向前进。为此,成本函数必须具有导数。绝对函数在某些地方没有导数。二次函数,如平方,具有导数。尽管我们对这个平方函数有其他原因,但它不是绝对的原因是我提到的。