如何用标准差评估 RMSE

数据挖掘 回归 统计数据
2022-02-21 05:45:00

我有回归模型,其中目标在 0 到 1 之间。目标的标准偏差是 0.817,保留模型的 RMSE 是 0.52。我想知道这个模型好不好。

任何反馈都会很有用

谢谢

2个回答

您的模型的残差似乎在很大程度上变化(如 RMSE 所示,与目标的单位相同)。如果没有关于您正在解决的问题的任何背景信息,就很难确定该模型是否良好。但是,它似乎确实处于较差的一面。

我将假设一个符合普通最小二乘的线性回归模型。如果这是不正确的,那么我所说的并不完全适用;在其他情况下,不等于解释的方差比例R2R2

如果所有观察值的方差如果,则残差的方差为是均方误差,y0.817y0.667489RMSE0.520.2704MSE

R2=1SSResSSTotal1nMSEnVar(y)=1MSEVar(y)=10.27040.667489=0.5949

您解释的可变性60%y

vs vs的问题,这使得这不太正确。要么用相同的分母计算 MSE 和,要么假设你有足够的观察结果来消除这种影响,这你可能有。)n1nnpvar(y)

我看到的问题是人们想将它与学校的成绩进行比较,其中就像和一个让我们快乐的 A,而就像和一个让我们伤心可能存在高得可疑的情况,并且可能存在是行人的情况。(想想MNIST 数字它认为这是对如何预测R2R2=0.9595%AR2=0.660%FR2=0.5R2=0.9595%y,但可能并不比现有方法好。(如果其他人倾向于得到那么你的模型可能不够好,除非它可以通过例如更便宜的实现来弥补性能的下降(也许测量你的变量更便宜。 )R2>0.7?

我的偏好是将性能放在模型将如何使用以及它如何改进现有方法的背景下。根据您使用的性能指标,这避免了非线性回归没有 OLS 所具有的方便的平方和分解的问题。