为什么我们说“残差标准误差”?

机器算法验证 r 标准错误 残差 术语
2022-02-04 12:06:25

标准误差是估计的标准偏差σ^(θ^)估计者的θ^对于一个参数θ.

为什么残差的估计标准偏差称为“残差标准误差”(例如,在 Rsummary.lm函数的输出中)而不是“残差标准偏差”?我们在这里配备标准误差的参数估计是什么?

我们是否将每个残差视为“其”误差项的估计量并估计所有这些估计量的“合并”标准误差?

4个回答

我认为措辞特定于 R 的summary.lm()输出。请注意,基础价值实际上称为“sigma”(summary.lm()$sigma)。我认为其他软件不一定使用该名称作为残差的标准差。此外,例如,“剩余标准差”这一措辞在教科书中很常见。我不知道那是如何成为 Rsummary.lm()输出中使用的措辞的,但我一直认为这很奇怪。

在我的计量经济学培训中,它被称为“残差标准误差”,因为它是对实际“残差标准差”的估计。请参阅证实此术语的相关问题。

谷歌搜索术语残差标准误差也显示了很多点击,所以这绝不是 R 怪事。我用引号尝试了这两个术语,并且都出现了大约 60,000 次。

简而言之,样本的标准误差是对样本均值可能与总体均值相差多远的估计值,而样本的标准差是样本中个体与样本均值的差异程度。

标准错误 - 维基百科,免费的百科全书

拟合回归模型使用参数生成点估计预测,这是观察响应的平均值,如果您要用相同的 XX 值无限次复制研究(当线性模型为真时)。

这些预测值与用于拟合模型的值之间的差异称为“残差”,在复制数据收集过程时,它具有均值为 0 的随机变量的属性。然后使用观察到的残差来估计这些值的可变性并估计参数的抽样分布。

笔记:

当残差标准误差正好为 0 时,模型完美拟合数据(可能是由于过度拟合)。

如果不能证明残差标准误差与无条件响应的变异性有显着差异,则几乎没有证据表明线性模型具有任何预测能力。