计算科学 - 计算协方差逆矩阵的对角元素的快速方法 - 吾爱随笔录 - 问答

计算协方差逆矩阵的对角元素的快速方法

计算科学线性代数

2021-11-26 19:18:57

我们有一个用表示的方差-协方差矩阵，其中是设计矩阵。在线性回归中，我们可以使用正规方程估计 beta 系数，例如，我们还可以使用，其中是从样本中估计的。 $X^TX$ $X$ $\hat{\beta} = (X^TX)^{-1}X^Ty$ $Var(\hat{\beta}) = \hat{\sigma}^2(X^TX)^{-1}$ $\hat{\sigma}^2$

我在我的库中实现了线性回归，我使用 QR 分解来解决 beta，还使用 QR 分解来计算，然后只取它的对角线元素的平方根。我通过求解 I 计算的最后一个，其中是我要搜索的内容。 $(X^TX)^{-1}$ $(X^TX)A = I$ $A$

有没有更快的方法来计算的倒数的对角元素？我知道 Cholesky，我没有考虑它，因为它也是并且在数值上不太稳定。只有那些对角线元素有捷径吗？ $X^TX$ $O(n^3)$

1个回答

的 (i,i)'th 对角线条目写为乘积，其中是第 i 个欧几里得向量（全为零，除了第 i 个位置的一个）。 $(X^TX)^{-1}$ $d=e_i^T\cdot(X^TX)^{-1}\cdot e_i$ $e_i$

如果您已经拥有 QR 分解，那么和。如果引入向量，则。 $X=QR$ $(X^TX)^{-1} = (R^TR)^{-1}$ $d=e_i^T\cdot(R^TR)^{-1}\cdot e_i = (R^{-T}e_i)^T(R^{-T}e_i)$ $y = R^{-T}e_i$ $d=y^Ty$

此过程很容易映射到 LAPACK/BLAS： (a)使用 dgeqrf() 就地之后，所需的将在 triu( ) (b) 对于每个对角线，形成然后使用 dtrsv() 从左侧通过反解它，得到。然后。这是 dnrm2()。 $X=QR$ $R$ $X$ $d$ $e_i$ $R^{-T}$ $y$ $d=y^Ty$

这可能正是您正在做的事情，但是您的 OP 建议您可能正在明确地形成逆，我认为这没有必要。这种帖子方法的计算成本是渐近相同的，尽管它可能会为您节省一个临时的。 $(X^TX)^{-1}$ $O(n^3)$

其它你可能感兴趣的问题

上一篇如何使用域分解对 FEM 问题进行预处理？下一篇强稳定性保持 (SSP) Runge-Kutta 方法的自适应时间步长