机器算法验证 - 当软件内存不足时，加速像（投影矩阵）和定制估计器的其他方面的帽子矩阵X(X'X)− 1X'X(X′X)−1X′ - 吾爱随笔录

当软件内存不足时，加速像（投影矩阵）和定制估计器的其他方面的帽子矩阵X(X'X)− 1X'X(X′X)−1X′

机器算法验证估计估计者计算统计

2022-04-16 11:35:39

有没有办法加速类型的矩阵？我正在使用矩阵语言直接实现下面的表达式，并且我的程序经常崩溃，而如果我使用预制命令在它们上运行 OLS，这不是问题。 $Z(Z'Z)^{-1}Z'$

你们有没有什么技巧可以有效地计算这些矩阵？

这里的目标（但这只是一个问题）是实现以下估计器现在，是其中。

\begin{array}{rcl} (X^{'} P X - \sum_{i = 1}^{n} P_{i i} X_{i} X_{i}^{'} - α X^{'} X)^{- 1} (X^{'} P_{Z} y - \sum_{i = 1}^{n} P_{i i} X_{i} y_{i} - α X^{'} y) \end{array}

$\begin{eqnarray} (X' P X - \sum_{i=1}^{n} P_{ii} X_{i}X_{i}' - \alpha X'X)^{-1} (X' P_Z y - \sum_{i=1}^{n} P_{ii} X_{i} y_{i} - \alpha X' y) \end{eqnarray}$

α

$\alpha$

({\bar{X}}^{'} \bar{X})^{- 1} ({\bar{X}}^{'} P_{Z} \bar{X} - \sum_{i = 1}^{n} P_{i i} {\bar{X}}_{i} {\bar{X}}_{i}^{'})

$(\overline{X}'\overline{X})^{-1} (\overline{X}' P_Z \overline{X} - \sum_{i=1}^{n} P_{ii} \overline{X}_{i} \overline{X}'_{i})$

\bar{X} = [y, X]

$\overline{X} = [y,X]$

我非常有信心，一旦我找到了一种计算投影的有效方法，我就可以轻松地实现其余部分。

非常感谢！

2个回答

使用 QR 分解（如果您已经计算了回归，则应该可用）：

假设有行和列并且是满列秩。 $X$ $n$ $p$

$H=X(X'X)^{-1}X'$

$=QR(R'Q'QR)^{-1}R'Q'$

$=QR(R'R)^{-1}R'Q'$

但是如果的前行，那么 $R_1$ $p$ $R$ $R'R=R_1'R_1$

$=QR(R_1'R_1)^{-1}R'Q'$

现在让其中的前列。然后。 $Q=(Q_1,Q_2)$ $Q_1$ $p$ $Q$ $QR=Q_1R_1$

$=Q_1R_1R_1^{-1}(R_1')^{-1}R_1'Q_1'$

$=Q_1Q_1'$

其中是。 $Q_1$ $n\times p$

因此，如果您有的 QR 分解，那么帽子矩阵相当简单。 $X$

请注意，一些回归程序会自动给出。[也有可能回归程序会执行旋转。不过，这不应该影响帽子矩阵的计算。] $Q_1$

尝试使用 SVD。例如，由于那么因此其中是一个单位矩阵，对角线上个单位 (上部分），下对角线上的是的秩。

X = U Σ V^{T},

$X = U\Sigma V^T,$

(X^{T} X)^{- 1} = (V Σ^{2} V^{T})^{- 1} = V Σ^{- 2} V^{T},

$(X^T X)^{-1} = (V\Sigma^2 V^T)^{-1} = V\Sigma^{-2} V^T,$

X (X^{T} X)^{- 1} X^{T} = U I_{r} U^{T} = U_{r} U_{r}^{T},

$X(X^T X)^{-1}X^T = U I_r U^T = U_r U_r^T,$

I_{r}

$I_r$

n \times n

$n\times n$

r \leq n

$r\leq n$

n - r

$n-r$

r

$r$

X

$X$

这可能会加快您的计算速度。

其它你可能感兴趣的问题

上一篇文档搜索中的 TF-IDF 与余弦相似度下一篇Y 的期望值 = (1/X) 其中X∼ G a m m aX∼Gamma