你的回答很好。请注意，由于是对称的和正方形的，所以也是如此。矩阵、它的转置或逆矩阵都将您的向量投影在同一空间中。$\Sigma$$\Sigma^{-1}$$\Sigma r$

由于和是正定的，所有特征值都是正的。因此，与向量的乘法总是在空间的同一个半平面中结束。$\Sigma$$\Sigma^{-1}$

现在，如果或将是一个对角矩阵，那么乘法将仅重新加权（或撤消重新加权）每个维度中目标向量的长度（如您所见）。如果它们是满矩阵，那么矩阵确实是满秩的，因为它是 PSD，存在特征分解并且，这里是一个正交特征向量矩阵，因为是 PSD , 和具有特征值的对角线。因此首先由旋转，然后由旋转回来。同样的事情也适用$\Sigma$$\Sigma^{-1}$$\Sigma = V \Lambda V^{-1}$$V$$\Sigma$$\Lambda$$r$$V^{-1}$$\Lambda$$V$$\Sigma^{-1}$，但随后以相反的方式旋转，并由倒数旋转回来。很容易看出它们是相反的过程。$r$$\Lambda^{-1}$$V^{-1}$

另外，你可能会想到 作为向量的长度，在校正互相关后由“标准差”重新加权。

$$r^T \Sigma^{-1} r = (\Lambda^{-1/2} V^T r)^T(\Lambda^{-1/2} V^T r) = \big\|\Lambda^{-1/2} V^T r\big\|^2$$ $r$

希望有帮助。

经过一些进一步的思考，我现在自己得出了一个（某种）直观的解释。如果在协方差和方差的背景下熟悉 PCA，实际上并不难。

我们用表示数据集，其中是维度的随机向量（这与我在问题中使用的符号略有不同）。 如果我们查看与相乘的主分量方向上拉伸相应的特征值分量（数据集在主分量方向上的方差） . 这种线性映射的一个很好的特性是，返回数据集在方向上的方差$X$$X_1 \dots X_n$$X_i$$d$
$\Sigma$$r$$\Sigma$$r$$X$
$r^T \Sigma r$$r$（假设，否则返回方差时间）。$|r| = 1$$|r|^2$

话虽如此，让我们看一下术语。项现在根据主成分缩回到 r eigenvectors))，因为这只是相反的操作。这意味着，我们用前一项得到的只是沿的方差（再次假设。 这个陈述的一个小证明： ^{-1} r \right)^T r = \left( \Sigma^{-1} r \right)^T \Sigma \Sigma^{-1} r =等于方差$r^T \Sigma^{-1} r$$\Sigma^{-1} r$$r$$r' = \Sigma^{-1} r$$\Sigma$$r'$$|r'| = 1$

$$r^T \Sigma^{-1} r = \left( \Sigma^{-1} r \right)^T r = \left( \Sigma^{-1} r \right)^T \Sigma \Sigma^{-1} r = r'^T \Sigma r'$$ $X$沿。$r'$

注意是一个公正的数字，在很多情况下，我们希望这个数字很小，即尽量解决优化问题。该术语的优点是如果 SPD，则将具有与线性系统相同的解。$x^TAx$$A$$\frac 1 2 x^TAx - b^Tx$$Ax=b$

更多讨论可以在这里找到。

为什么对称正定 (SPD) 矩阵如此重要？

我强烈建议遵循 2 个对我有很大帮助的教程。

线性代数的本质

无痛苦的共轭梯度法介绍

1. 经验协方差矩阵的特征向量是数据具有最大方差的方向。
2. 我们知道线性算子的特征向量基是该算子具有对角表示的基。

结合上面这两个事实，我得出结论：

如果向量是从正态分布中得出的，那么与协方差矩阵相乘将得到一个从正态分布但根据经验协方差矩阵得出的向量。$x$$\mathcal{N}(0, I)$

我相信还有其他的直觉。请与我们分享。