机器算法验证 - 残差与依赖的趋势 - 但不是残差与拟合的趋势 - 吾爱随笔录 - 问答

残差与依赖的趋势 - 但不是残差与拟合的趋势

机器算法验证回归残差

2022-04-12 16:52:53

我正在为一个问题拟合一个线性模型，并且对正在发生的事情感到有些困惑。如果没有这里的细节，这两个情节让我感到困惑：

残差与拟合

残差与拟合

残差与 Y

残差与 Y

现在残差与拟合对我来说看起来不错。分布比较均匀，没有明显的花纹。但是， vs 拟合看起来并不好。我本来预计这种关系也不会有明显的趋势。 $y$

这似乎很基本，但我很迷茫。我不想拟合一个模型，该模型允许在 Y 的高值时出现大的正误差弥补在的低值时的大负误差。 $Y$ $Y$

这仅仅是模型拟合不佳的迹象吗？还是这里发生了其他事情？

编辑：要求安装 vs y（更改为有标签）

拟合vs y

EDIT2：只想指出这个问题已经被提出并回答（尽管在更抽象的意义上）残差和因变量之间的预期相关性是什么？.

1个回答

1）残差和拟合在构造上是不相关的。事实上，如果它们之间存在任何相关性，那么数据中就会出现未捕获的线性趋势——我们可以通过改变系数来获得更接近的拟合，直到它们不相关为止。

2）残差和y变量总是正相关的。这是（1）的必然结果。

c o v (e, y) = c o v (e, e + \hat{y}) = σ^{2} + 0 = σ^{2}

$cov(e,y) = cov(e,e+\hat y) = \sigma^2+0 = \sigma^2$

因此，如果第一个情节中没有趋势，那将是令人惊讶的。

考虑一个模拟示例 -

请注意，通过针对观察到的残差绘制残差，这相当于在残差与拟合图中使用斜轴：

在此处输入图像描述

观察到的高值（灰色斜线标记观察到的常数，最右边的那些是高的）与高残差相关的原因在这里很清楚，因为这是它们在接近尾声时才为正的原因。

其它你可能感兴趣的问题

上一篇如何使用多类 Vowpal Wabbit 获得对分类预测的信心下一篇如何在多类数据集上准确划分训练集以进行 k 折交叉验证？