当然，残差是的某种估计量（要清楚，残差的定义是估计量，观察到的残差是估计量）。如果模型是正确的，那么它们有时可能是一个相当好的估计。$\epsilon$

的确

$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$，

其中是帽子矩阵（因为它“戴上帽子”）——有时也称为投影矩阵。$H = X(X'X)^{-1} X'$$y$

http://en.wikipedia.org/wiki/Hat_matrix

也就是说，都是的线性组合；如果相对于相当大（如果相对于 I 是“小”），那么大部分权重在错误（但通常情况并非如此）。$e$$\epsilon$$1-h_{ii}$$\sum_{j\neq i}h_{ij}$$H$$i^\textrm{th}$

请注意，相同的期望和方差，并且如果的元素很小，以刚才描述的方式，将与它高度相关 - 事实上，如果我的代数做对了，和之间的相关性实际上是：。$e_i/\sqrt{1-h_{ii}}$$\epsilon_i$ $H$ $e_i$$\epsilon_i$$\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$