答案可能会用更简单的术语给出：如果从线性代数的角度来看，多元回归比 pca 多一步，从第二步开始，不稳定性就存在了：

pca和mult的第一步。回归可以看作是相关矩阵的分解$R$分为两个胆汁因素$L \cdot L^t$，它们是三角形的 - 并且与低或高相关性无关。（然后可以将 pca 视为（三角形）cholesky 因子到 pc 位置的旋转（据我所知，这称为 Jacobi 旋转）

多。回归过程是应用该cholesky因子的反演$L$减去因变量的行和列，它方便地位于相关矩阵的最后一行。
不稳定性在这里起作用：如果自变量高度相关，则cholesky因子的对角线$L$ 可以退化为非常小的数值 - 并将其反转引入然后除以近零的问题。

PCA 通常是达到目的的一种手段；导致多元回归的输入或用于聚类分析。我认为在您的情况下，您正在谈论使用 PCA 的结果来执行回归。

在这种情况下，您执行 PCA 的目标是消除多重共线性并获得多元回归的正交输入，这并不奇怪，这称为主成分回归。在这里，如果您的所有原始输入都是正交的，那么进行 PCA 将为您提供另一组正交输入。所以; 如果您正在执行 PCA，则会假设您的输入具有多重共线性。

鉴于上述情况，您可能希望通过 PCA 从具有多个输入的问题中获取一些输入变量。为了确定应该保留多少新的正交变量，通常使用碎石图（Johnson & Wichern, 2001, p. 445）。如果你有大量的观察，那么你也可以使用经验法则$\hat{ \lambda_{i} }$作为$i^{th}$最大估计特征值仅使用最多并包括那些值$\frac{ \hat{ \lambda_{i} } }{p}$大于或等于一 (Johnson & Wichern, 2001, p. 451)。

参考

强生公司 (2001)。应用多元统计分析（第 6 版）。普伦蒂斯霍尔。