机器算法验证 - 使用奇异值分解从线性回归模型计算方差协方差矩阵 - 吾爱随笔录

使用奇异值分解从线性回归模型计算方差协方差矩阵

机器算法验证 r 回归

2022-03-16 11:42:00

我有一个 p 回归量、n 个观察值的设计矩阵，并且我正在尝试计算参数的样本方差 - 协方差矩阵。我正在尝试使用 svd 直接计算它。

我正在使用 R，当我采用设计矩阵的 svd 时，我得到三个组件：一个矩阵 $U$ 这是 $n \times p$ , 一个矩阵 $D$ 这是 $1\times 3$ （可能是特征值）和一个矩阵 $V$ 这是 $3\times 3$ . 我对角化了 $D$ ，使其成为 $3\times 3$ 非对角线为 0 的矩阵。

假设协方差的公式是： $V D^2 V'$ ，但是，矩阵不匹配，甚至不接近 R 的内置函数，vcov。有没有人有任何建议/参考？我承认我在这方面有点不熟练。

1个回答

首先，回想一下，在线性回归模型的多元正态性假设下，我们有

\hat{β} \sim N (β, σ^{2} (X^{T} X)^{- 1}) .

$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$

现在，如果 $X = U D V^T$ 其中右侧是 X 的 SVD，那么我们得到 $X^T X = V D U^T U D V = V D^2 V^T$ . 因此，

(X^{T} X)^{- 1} = V D^{- 2} V^{T} .

$(X^T X)^{-1} = V D^{-2} V^T .$

我们仍然缺少方差的估计，即

{\hat{σ}}^{2} = \frac{1}{n - p} (y^{T} y - {\hat{β}}^{T} X^{T} y) .

$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$

虽然我还没有检查，但希望vcov返回 $\hat{\sigma}^2 V D^{-2} V^T$ .

注意：你写的 $V D^2 V^T$ ，即 $X^T X$ ，但我们需要方差-协方差矩阵的逆矩阵。另请注意，在 $R$ , 做这个计算你需要做

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

观察到我们使用矩阵乘法%*%而不是*. var.est以上是噪声方差的估计。

（另外，我做了以下假设 $X$ 是满秩和 $n \geq p$ 自始至终。如果不是这种情况，则必须对上述内容进行少量修改。）

其它你可能感兴趣的问题

上一篇按时间划分的事物图表的好通用名称是什么？下一篇Web 可视化库