什么是奇异矩阵？

方阵是奇异的，也就是说，如果它包含按比例相关的行或列，则它的行列式为零；换句话说，它的一个或多个行（列）可以精确地表示为所有或其他一些行（列）的线性组合，该组合没有常数项。

例如，想象一个矩阵 - 对称，如相关矩阵，或不对称。例如，如果就其条目而言，，则矩阵是奇异的。作为另一个例子，如果它的，那么又是单数的。作为一种特殊情况，如果任何行只包含zeros，则矩阵也是奇异的，因为任何列都是其他列的线性组合。一般来说，如果方阵的任何一行（列）是其他行（列）的加权和，那么后者中的任何一个也是其他行（列）的加权和。$3 \times 3$$A$$\text {col}_3 = 2.15 \cdot \text {col}_1$$A$$\text{row}_2 = 1.6 \cdot \text{row}_1 - 4 \cdot \text{row}_3$$A$

奇异或接近奇异的矩阵通常被称为“病态”矩阵，因为它在许多统计数据分析中都存在问题。

哪些数据会产生变量的奇异相关矩阵？

多元数据必须是什么样子才能使其相关或协方差矩阵成为如上所述的奇异矩阵？当变量之间存在线性相互依赖关系时。如果某个变量是其他变量的精确线性组合，允许常数项，则变量的相关和协方差矩阵将是奇异的。在其列之间的这种矩阵中观察到的依赖关系实际上与在变量居中（它们的平均值为 0）或标准化（如果我们指的是相关性而不是协方差矩阵）之后观察到的数据中的变量之间的依赖关系相同。

变量的相关/协方差矩阵为奇异时的一些常见特殊情况： (1) 变量数等于或大于个案数；(2) 两个或多个变量之和为一个常数；(3) 两个变量相同或仅在均值（水平）或方差（尺度）上不同。

此外，在数据集中重复观察将使矩阵趋于奇点。克隆案例的次数越多，奇点就越接近。因此，在对缺失值进行某种插补时，向插补数据添加一些噪声总是有益的（从统计和数学角度来看）。

作为几何共线性的奇点

在几何观点中，奇异性是（多）共线性（或“共面性”）：在空间中显示为向量（箭头）的变量位于维度空间小于变量数量的空间 - 在缩减空间中。（该维度称为矩阵的秩；它等于矩阵的非零特征值的数量。）

在更遥远或“超越”的几何观点中，奇点或零定性（零特征值的存在）是矩阵的正定性和非正定性之间的弯曲点。当一些向量变量（即相关/协方差矩阵）“超出”甚至位于缩减的欧几里得空间中时——以至于它们不能再“收敛”或“完全跨越”欧几里得空间，就会出现非正定性，即相关矩阵的一些特征值变为负值。（参见关于非正定矩阵，也就是这里的非格拉姆矩阵。）对于某些统计分析，非正定矩阵也是“病态的”。

回归中的共线性：几何解释和含义

下面的第一张图片显示了具有两个预测变量的正常回归情况（我们将讨论线性回归）。图片是从这里复制的，这里有更详细的解释。简而言之，中度相关（= 它们之间具有锐角）预测变量和跨越 2 维空间“平面 X”。因变量被正交投影到它上面，留下预测变量和带有 st 的残差。偏差等于的长度。和之间的角度，两个回归系数与倾斜坐标直接相关$X_1$$X_2$$Y$$Y'$$e$$Y$$Y'$$b_1$和，分别。$b_2$

下图显示了具有完全共线预测变量的回归情况。和完全相关，因此这两个向量重合并形成一条线，即一维空间。这是一个缩小的空间。虽然从数学上讲，必须存在平面 X 才能用两个预测变量解决回归问题，但该平面不再被定义，唉。幸运的是，如果我们将两个共线预测变量中的任何一个从分析中删除，那么回归就可以简单地解决，因为单预测回归需要一维预测空间。我们看到预测和错误$X_1$$X_2$$Y'$$e$在图片上绘制的那个（一个预测变量）回归。除了删除变量之外，还有其他方法可以消除共线性。

下面的最终图片显示了具有几乎共线预测变量的情况。这种情况有所不同，而且更加复杂和令人讨厌。$X_1$和$X_2$（两者都再次以蓝色显示）紧密相关，因此几乎重合。但是之间仍然存在一个微小的角度，并且由于非零角度，定义了平面 X（图片上的这个平面看起来像第一张图片上的平面）。因此，从数学上讲，解决回归没有问题。这里出现的问题是统计问题。

通常我们会进行回归以推断总体中的 R 方和系数。从样本到样本，数据略有不同。所以，如果我们再取一个样本，两个预测向量的并列会发生轻微的变化，这是正常的。不“正常”的是，在接近共线性的情况下，它会导致毁灭性的后果。想象一下$X_1$稍微向下偏离，超出平面 X - 如灰色矢量所示。因为两个预测变量之间的角度非常小，所以平面 X 将通过$X_2$并通过那飘过$X_1$将大大偏离旧平面 X。因此，因为$X_1$和$X_2$如此相关，我们预计来自同一群体的不同样本中的 X 平面会非常不同。由于平面 X 不同，预测、R 平方、残差、系数——一切也变得不同。从图中可以看出，X 平面在某处摆动了 40 度。在这种情况下，估计值（系数、R 方等）非常不可靠，这一事实由其巨大的标准误差表示。相比之下，由于预测变量远离共线，因此估计值是可靠的，因为预测变量所跨越的空间对于数据的采样波动是稳健的。

作为整个矩阵的函数的共线性

即使两个变量之间的相关性很高，如果它低于 1，也不一定会使整个相关矩阵变得奇异；它也取决于其余的相关性。例如这个相关矩阵：

1.000     .990     .200
 .990    1.000     .100
 .200     .100    1.000

.00950具有与 0 相差很大的行列式，在许多统计分析中被认为是合格的。但是这个矩阵：

1.000     .990     .239
 .990    1.000     .100
 .239     .100    1.000

有行列式.00010，度数接近 0。

共线性诊断：进一步阅读

统计数据分析，如回归，包含特殊的指数和工具来检测足够强的共线性，以考虑从分析中删除一些变量或案例，或采取其他治疗手段。请搜索（包括本网站）“共线性诊断”、“多重共线性”、“奇异性/共线性容限”、“条件指数”、“方差分解比例”、“方差膨胀因子 (VIF)”。