回归 - 中值绝对误差度量对模型有何影响?

机器算法验证 回归 中位数
2022-03-09 23:30:45

查看sci-kit 学习回归指标,它给了我们 5 个指标:解释方差分数和R2分数;平均绝对误差、均方误差和中值绝对误差。

解释的方差分数和R2分数是相关的,并且在Wikipedia上有很好的解释。

平均绝对误差和均方误差也是如此,这是两个常用的指标(并且在这个主题上得到了很好的解释:虽然平均绝对误差考虑了所有数据,但不“加权”异常值,但均方误差帮助我们检查异常值。

但是中值绝对误差对数据和模型的响应有何影响?

2个回答

我不得不不同意第一个发布的答案。文档中所述,中值绝对误差基本上是有用的,它基本上对异常值不敏感(只要它们没有太多)。这是因为它是所有残差绝对值的中位数,并且中位数不受尾部值的影响。因此,此损失函数可用于执行鲁棒回归

相比之下,均方误差可能对异常值高度敏感,而平均绝对误差对异常值可能有些敏感(尽管不如均方误差那么敏感)。

请注意,使用中值绝对误差仅校正响应/目标变量中的异常值,而不是预测变量/特征变量中的异常值。

一种可能的混淆来源是平均/中值误差与平均/中值绝对误差。前者不能用作回归的成本函数,因为成本必须始终为正(除其他外)。

使用 OLS 回归,构造时的平均误差将为零。我想您可以使用中值误差来衡量平均值周围的分布 - 即,如果您知道平均误差为零但中值误差为 -10,那么您知道肯定有一些非常大的误差会使平均值偏斜回零。

我不认为它真的提供了很多信息。许多更好的基于误差的指标,如平均绝对百分比误差、均方误差、平均绝对误差等。