您还没有指定您计划的“建模”，但听起来您在询问如何在其中选择自变量$A$,$B$， 和$C$为了（比如说）回归第四个因变量$W$在他们。

要查看这种方法是否会出错，请考虑三个独立的正态分布变量$X$,$Y$， 和$Z$有单位方差。对于真正的基础模型，选择一个小常数$\beta \ll 1$, 一个非常小的常数$\epsilon \ll \beta$, 并让 (因变量)$W = Z$（加上一点点错误独立于$X$,$Y$， 和$Z$）。

假设您拥有的自变量是$A = X + \epsilon Y$,$B = X - \epsilon Y$， 和$C = \beta Z$. 然后$W$和$C$是强相关的（取决于误差的方差），因为每个都接近于$Z$. 然而，$W$与任何一个都不相关$A$或者$B$. 因为$\beta$很小，第一个主成分为$\{A, B, C\}$平行于$X$有特征值$2 \gg \beta$. $A$和$B$在这个组件上负载很重，并且$C$根本不加载，因为它独立于$X$（和$Y$）。然而，如果你消除$C$从自变量，只留下$A$和$B$，您将丢弃有关因变量的所有信息，因为$W$,$A$， 和$B$是独立的！

此示例表明，对于回归，您需要注意自变量与因变量的相关性；你不能仅仅通过分析自变量之间的关系来逃避。

如果你只有 3 个 IV，为什么要减少它们？

也就是说，您的样本是否非常小（因此 3 个 IV 存在过度拟合的风险）？在这种情况下，考虑偏最小二乘

还是测量非常昂贵（因此，将来您只想测量一个 IV）？在这种情况下，我会考虑分别和一起查看每个 IV 的不同回归。

或者你过去是否有人过分强调简约的价值？在这种情况下，为什么不包括所有 3 个 IV？