计算科学 - 计算线性回归问题的标准误差而不计算逆 - 吾爱随笔录

计算线性回归问题的标准误差而不计算逆

计算科学线性代数优化

2021-12-05 04:30:46

有没有比倒置更快的方法来计算线性回归问题的标准误差 $X'X$ ? 在这里，我假设我们有回归：

y = X β + ε,

$y=X\beta+\varepsilon,$

在哪里 $X$ 是 $n\times k$ 矩阵和 $y$ 是 $n\times 1$ 向量。

为了找到最小二乘问题的解决方案，做任何事情都是不切实际的 $X'X$ ，您可以在矩阵上使用 QR 或 SVD 分解 $X$ 直接地。或者，您可以使用渐变方法。但是标准错误呢？我们真的只需要对角线 $(X'X)^{-1}$ （自然是 LS 解决方案来计算标准误差的估计值 $\varepsilon$ ）。有没有具体的标准误计算方法？

1个回答

假设您使用奇异值分解 (SVD) 解决了最小二乘问题 $X$ , 由

X = U Σ V^{'},

$X = U\Sigma V',$

在哪里 $U$ 和 $V$ 是单一的，并且 $\Sigma$ 是对角线。

然后

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ 存在当且 $X$ 是满秩（或具有严格的正奇异值），在这种情况下

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

（请参阅我在 Math.SE 上对相关问题给出的答案。）

如果你已经有 $\Sigma$ 和 $V$ , 计算 $(X'X)^{-1}$ 需要对对角矩阵求逆和平方（ $n$ 一个操作 $n \times n$ 矩阵），缩放矩阵的列（或行）（ $n^2$ 操作），和一个单一的矩阵乘法（不幸的是 $\mathcal{O}(n^{3})$ ）。这种方法在数值上表现良好。

有一些快速方法可以获取稀疏矩阵的逆对角元素（参见Yousef Saad 小组的工作和Lin Lin等人的工作）。但是，在您的情况下， $X'X$ 可能并不稀疏（即使 $X$ 是），即使是这样，它也可能是病态的，以至于这些快速方法会产生不准确的结果。

其它你可能感兴趣的问题

上一篇Matlab中的最优传输翘曲实现下一篇三角格上的傅里叶变换库