均方误差和残差平方和函数有什么关系?

机器算法验证 残差 毫秒
2022-02-05 11:39:05

查看维基百科的定义:

在我看来

MSE=1NRSS=1N(fiyi)2

其中是样本数,是我们对的估计。Nfiyi

然而,维基百科的文章都没有提到这种关系。为什么?我错过了什么吗?

3个回答

实际上它在维基百科的均方误差的回归部分中提到

在回归分析中,术语均方误差有时用于指代误差方差的无偏估计:残差平方和除以自由度数。

您还可以在这里找到一些信息:统计中的误差和残差 它说均方误差在不同情况下可能有不同的含义,这有时很棘手。

但请注意,误差平方和 (SSE) 和残差平方和 (RSS) 有时可以互换使用,从而使读者感到困惑。例如,检查此 URL

严格来说,从统计学的角度来看,Errors 和 Residues 是完全不同的概念。误差主要是指实际观察到的样本值与您的预测值之间的差异,主要用于统计指标,如均方根误差 (RMSE) 和平均绝对误差 (MAE)。相反,残差专门指因变量与线性回归估计值之间的差异。

如果我们认为 MSE 是 RMSE 的平方,我认为这在这里是不正确的。例如,您有一系列关于预测和观察的采样数据,现在您尝试进行线性回归:观察 (O)= a + b X 预测 (P)。在这种情况下,MSE 是 O 和 P 之间的平方差之和除以样本大小 N。

但是,如果要衡量线性回归的执行情况,则需要计算均方残差 (MSR)。在同样的情况下,它首先会计算残差平方和(RSS),它对应于实际观测值和线性回归预测观测值之间的平方差之和。然后,RSS 除以N-2到获得 MSR。

简单地说,在示例中,MSE 不能使用 RSS/N 来估计,因为 RSS 分量对于用于计算 MSE 的分量不再相同。