这里有几个关于这个问题的帖子。据我了解,它们的要点是,您无法比较两个模型的 RMSE 或 MAE,其中一个模型在因变量上进行了对数转换,因为它们处于不同的尺度。因此,您可以将数千美元与数千美元进行比较,但不能将(数千美元)与数千美元进行比较。
例如
然后我发现了杜克的这篇文章 底线是什么?如何比较模型。
特别是,本段:
均方根误差和平均绝对误差只能在误差以相同单位测量的模型之间进行比较
(例如,美元,或不变的美元,或售出的啤酒箱,或其他)。如果一个模型的误差针对通货膨胀进行了调整,而另一个模型的误差是否进行了调整,或者一个模型的误差是绝对单位,而另一个模型的误差是对数单位,则它们的误差度量不能直接比较。在这种情况下,您必须在计算各种度量之前将两个模型的误差转换为可比较的单位。这意味着通过取消记录或不放气(或其他方式)将一个模型的预测转换为与另一个模型相同的单位,然后从实际值中减去这些预测以获得可比较单位的误差,然后计算这些误差的统计数据。仅仅取消记录或取消错误统计信息本身是无法获得相同效果的!
这是否意味着在对数模型和等效的非对数版本之间进行选择的合理方法是进行交叉验证,并在预测例如 5 倍后选择具有最低 RMSE 或 MAE 的模型?
换句话说,我在研究时发现的问题给出了为什么你不能直接将 RMSE 与初始模型输出进行比较的描述性原因,但如果我理解如果我只是使用模型来预测测试数据,我可以对哪个模型有一个有点确定的答案选择?
这是一个合乎逻辑的方法吗?标准方法还是典型方法?一个好的方法?