每个相关矩阵都是正定的吗?

机器算法验证 协方差矩阵 特征值 相关矩阵
2022-03-24 22:28:50

我在这里谈论的是皮尔逊相关矩阵。

我经常听到有人说所有相关矩阵必须是半正定的。我的理解是正定矩阵必须具有特征值,而半正定矩阵必须具有特征值这让我认为我的问题可以改写为“相关矩阵是否有可能具有特征值?”>00=0

相关矩阵(从经验数据生成,没有缺失数据)是否有可能具有特征值或特征值如果它是一个人口相关矩阵呢?=0<0

我在这个问题的最佳答案中阅读了关于协方差矩阵的内容

考虑三个变量它们的协方差矩阵不是正定的,因为存在一个向量 ( ),其中不是正数。XYZ=X+YMz=(1,1,1)zMz

但是,如果我不是在相关矩阵上进行这些计算而不是协方差矩阵,那么就会显示为正数。因此,我认为相关矩阵和协方差矩阵的情况可能有所不同。zMz

我问的原因是我在stackoverflow上被问到,关于我在那里问的一个问题。

3个回答

相关矩阵不必是正定的。

考虑一个具有非零方差的标量随机变量 X。那么X与自身的相关矩阵就是全1的矩阵,是半正定的,但不是正定的。

至于样本相关性,请考虑上述样本数据,具有第一个观测值 1 和 1,以及第二个观测值 2 和 2。这导致样本相关性是所有 1 的矩阵,因此不是正定的。

如果以精确算术计算(即没有舍入误差),样本相关矩阵不能具有负特征值。

@yoki和@MarkLStone 的答案(两者都+1)都指出,如果变量是线性相关的(示例中的X_1和@yoki 的例子)。X1=X2X1=2X2

除此之外,,即如果样本大小小于变量的数量,则样本相关矩阵将必然具有零特征值。在这种情况下,协方差和相关矩阵都最多为秩,因此至少有零特征值。请参阅为什么样本量小于变量数时样本协方差矩阵是奇异的?为什么协方差矩阵的秩最多为nn<pn1pn+1n1

视为均值为 0 且方差为 1 的 rv。令,并计算的协方差矩阵。由于由于零均值配置,二阶矩等于合适的协方差,例如:XY=2X(X,Y)2X=YE[Y2]=4E[X2]=σY2E[XY]=2E[X2]Cov(X,Y)=E[XY]EXEY=E[XY]

所以协方差矩阵将是: 具有零特征值。相关矩阵将为: 特征值也为零。由于之间的线性对应关系,很容易看出为什么我们会得到这个相关矩阵 - 对角线将始终为 1,而非对角线由于线性关系而为 1。

Λ=(1224),
Λ=(1111),
XY