具有可比 MAE 但 R² 不同的回归模型

机器算法验证 回归 r平方
2022-04-03 16:47:36

我在同一个数据集上训练了两个回归模型。它们以可比较的平均绝对误差执行MAE1,20.45,但决定系数与R120(嗯,那很糟糕!)在一种情况下,R220.4(嗯...)在另一个。

我知道更好的 R² 意味着模型可以更好地解释遇到的方差。但是在 MAE 相等的情况下如何解释呢?模型二的方差较小?

注意:我知道我选择的指标可能有问题。

  • 我选择 R² 而不是调整后的 R² 只是因为模型 2 是一个深度神经网络,我没有找到任何关于如何计算它的文献。
  • 我选择 MAE 而不是均方误差 MSE,因为我预测的值属于明确定义的范围[0,10],这使得 MAE 在直觉上对我有意义,而 MSE 则没有。

如果我观察到的行为是由于选择了这种指标,我会很高兴知道这是怎么回事!如果这是一个菜鸟问题,请原谅,我对统计的理解在本质上有点经验。

1个回答

R2是 MSE 损失的函数。

R2=i(yiy^i)2i(yiy¯)2=nMSEi(yiy¯)2

因此,如果您在各自比较两个模型R2值,您隐式使用 MSE。任何型号更低(更差)R2比另一个相同的数据具有更高(更差)的 MSE。

由于 MAE 不对残差进行平方,因此大的失误不会像 MSE 那样受到残酷的惩罚。

我对您的结果的解释比两个模型具有可比的 MAE 但不同的 MSE 是一个(低R2) 往往会在偶尔的可怕预测中犯小错误,而另一个往往会犯更大的错误但更少的巨大错误。

这很可能反映在模型残差分布图中。