“不存在”是指原始矩阵$X^TX$不可逆，即它的逆$(X^TX)^{-1}$不存在。通常这与矩阵中存在具有极小幅度（或零）的特征值有关$X^TX$.

这个不可逆性问题表明矩阵$X^TX$等级不足。秩亏矩阵的列空间不跨越与数据具有相同维度的向量空间（考虑具有 2D 基础但想要映射 3D 点）。在您想要估计的情况下，排名不足通常会成为一个问题$p$参数，但你的矩阵等级$q$小于$p$. 在这种情况下，一个定义不足的问题，$q$方程和$p$不知道在哪里$p>q$. 静态地，我们的意思是解决这个问题的信息根本不可用。

关于什么是等级不足以及如何处理它已经有一个很好的线程？如果您想进一步跟进。

在回归的情况下，考虑最基本的线性模型

$$Y=Xb+\varepsilon,$$ 最小二乘估计量$\hat{\beta}$必须满足 $$\hat{Y}=X\hat{\beta}$$ 在哪里$\hat{Y}$是的投影$Y$到由柱子跨越的空间上$X$. 这将我们引向正规方程 $$X'X\hat{\beta}=X'Y.$$ 如果$X$那么有满级$X'X$是可逆的，所以方程的（唯一）解是 $$\hat{\beta}=(X'X)^{-1}X'Y.$$ 然而，如果$(X'X)^{-1}$不存在，正规方程的解将不是唯一的（例如，任何广义逆都可以解方程）。

为了补充已经提供的好答案，如果您想了解奇点的统计含义$\left( \mathbf{X}^{T} \mathbf{X} \right)^{-1}$您可以根据 OLS 估计量的方差来考虑：它会爆炸并且所有精度都会丢失。估计器的置信限反过来变得非常大，推理变得不可能。

这些影响通常导致人们选择岭回归，因为引入偏置常数使逆更稳定，方差不那么膨胀。

从更应用的角度来看一个额外的答案。

想象一下，你想衡量如何$Y =$一个人的出拳能力与

• $x_1$= 人的体重（公斤）
• $x_2$= 人的体重（克）
• $x_3$=人的身高

自从$x_1$与$x_2$， 矩阵$(X'X)$不会是可逆的。这意味着$\hat{\beta}$为您提供之间关系的解决方案$Y$和$X$不会真的存在。可能有无限的解决方案，也可能没有任何解决方案。事实上，在这种情况下，这是“合理”的答案：将单独的值分配给$\hat{\beta}_1$和$\hat{\beta}_2$. 您可以将重量的全部影响分配给$\hat{\beta}_1$, 全面影响$\hat{\beta}_2$或一些任意组合。

这是一个极端的例子，但当$x$s 接近共线性（因此，行列式接近于零）您将遇到类似的问题，尽管不是那么极端。