机器算法验证 - 回归中具有严重多重共线性的X吨XXTX - 吾爱随笔录

机器算法验证回归多重共线性逆矩阵数字

2022-04-18 13:59:49

我正在研究回归中的多重共线性，在书中它说：“如果存在严重（但不完美）的多重共线性，则两个或多个预测变量高度相关，因此（在计算上）难以反转。这会产生不稳定回归估计和大的标准误差。” $X^TX$

谁能解释是什么使它在计算上变得困难？对这一事实的任何数学解释都会非常有帮助。

2个回答

回归系数的 MLE满足因此，如果两个或更多的列高度相关，的一个或多个特征值接近于零且非常大。这意味着存在一个向量，其中使得非常大。 $\beta$

\hat{β} \sim N (β, σ^{2} (X^{T} X)^{- 1})

$\hat\beta\sim\mathcal{N}(\beta,\sigma^2(X^\text{T}X)^{-1})$

X

$X$

(X^{T} X)

$(X^\text{T}X)$

(X^{T} X)^{- 1})

$(X^\text{T}X)^{-1})$

e_{1}

$e_1$

‖ e_{1} ‖ = 1

$\|e_1\|=1$

var (e_{1}^{T} \hat{β})

$\text{var}(e_1^\text{T}\hat{\beta})$

多重共线性的存在意味着回归量之间存在线性相关性，因此无法反转回归量矩阵。对于可逆性，要求矩阵具有满秩，而相关性则相反。如果回归变量存在可变性（没有多重共线性），则可以采用矩阵的逆矩阵。

其它你可能感兴趣的问题