我刚刚看到一篇回答这个问题的研究论文。万一这对将来的任何人有帮助，论文多重共线性：两个非参数回归的故事提到神经网络通常不会受到多重共线性的影响，因为它们往往被过度参数化。额外学习的权重会产生冗余，从而使影响任何小的特征子集（例如多重共线性）的事情变得不重要。

由于其过度参数化，神经网络的系数或权重本质上难以解释。然而，正是这种冗余使得各个权重变得不重要。也就是说，在网络的每一层，输入都是前一层输入的线性组合。最终输出是非常多的 sigmoidal 函数组合的函数，这些组合涉及原始预测变量的高阶交互。因此，神经网络以牺牲可解释性为代价来防范多重共线性问题。

多重共线性影响人工神经网络的学习。由于因变量中的信息与其他变量相比非常少，因此神经网络将需要更多时间来收敛。

在像 sklearn 这样的包中，因变量被识别并从计算中省略。我在 R 中使用了 lm 函数，它用 NA 标记了因变量的系数。可以从计算中删除变量，但系数仍然是相同的。在这些情况下，x 矩阵的秩将小于列数。

尽管 xTx 不存在逆，但大多数包不会直接计算逆，而是会计算伪逆。

多重共线性是线性回归中的一个问题，主要是因为模型的拟合方式。假设问题存在唯一解，可以通过反演来估计参数$X^TX$，但是在完美共线性的情况下这是不可能的，因为矩阵是不可逆的，并且在非完美共线性的情况下很麻烦，因为逆矩阵由于其较大的条件数而不准确/不稳定。

对于神经网络，多重共线性不是问题，因为使用反向传播来拟合参数，不需要反转任何矩阵或假设问题存在唯一的解决方案（实际上神经网络中通常有不止一个最优解） ）。例如，在用于图像分类的神经网络中，输入变量通常是高度相关的。