在梯度下降中使用绝对误差时,如何计算导数?

数据挖掘 机器学习 神经网络 深度学习 回归 线性回归
2021-09-28 00:00:19

损失函数(绝对误差)相对于用于更新权重的特征权重的导数是多少?

在任何地方都找不到任何关于它的具体内容。

2个回答

MAE的梯度是不连续的ypred=ytrue因此在该点没有定义的(有界的,方向无关的)导数。

在其他地方你有-1,在哪里 ypred>ytrue和 +1 在哪里 ypred<ytrue

通常,TensorFlow、Keras 等框架使用该点的近似导数。

你可以简单地近似 f(x)=|x| 经过 f(x)=x2+c 在哪里 c>0. 您也可以使用微分法。