根据它们的构造方式，残差与回归量正交，不仅在统计意义上，而且作为数值向量，请参见此答案。我们正在编写矩阵以使它们符合，即$X_2'M_2Y =0$自从$M_2 = I-X_2(X_2'X_2)^{-1}X_2'$

人们在计量经济学著作中发现似乎将“正交性”与“不相关性”等同起来的短语的原因是，这些短语通常是针对残差或误差项进行讨论的。第一个构造为零均值（只要回归包含一个常数），第二个被假定为零均值。但是，这些实体与任何变量的协方差是

$$\operatorname{Cov}(X,u) = E(Xu) - E(X)E(u) = E(Xu)$$

自从$E(u)$是（或假定）等于零。在这种情况下，正交性就等同于不相关性。否则，两个变量的均值均非零，它们是不等价的。

但这意味着，如果我们检查以均值为中心的变量（因此构造为零均值），那么正交性就等同于非相关性。由于各种原因，这种使变量居中的做法被广泛使用（在计量经济学之外），因此正交性再次等同于非相关性。

相反，对于非零均值，我们有相反的关系：正交性意味着相关性。

假设变量是正交的，$E(XY) =0$. 然后

$$\operatorname{Cov}(X,Y) = E(XY) - E(X)E(Y) = - E(X)E(Y) \neq 0$$

所以它们是相关的。

以上也告诉我们，我们可以有$E(XY)\neq 0$,$E(X)\neq 0, E(Y)\neq 0$， 但$\operatorname{Cov}(X,Y) = 0$， 如果$E(XY) = E(X)E(Y)$. 换句话说，非零均值自变量是不相关的，但不是正交的。

总之，一个人应该仔细思考这些概念，并理解在什么条件下一个暗示另一个或否定另一个。