机器算法验证 - 我们怎么知道X'XX′X在 OLS 中是非奇异的吗？ - 吾爱随笔录

我目前正在研究 OLS 估计和帽子矩阵的机制。我一直在寻找没有运气的一件事是我们如何知道这个词 $X'X$ 在哪里可逆 $X'$ 表示转置 $X$ .

我明白那个 $X'X$ 是一个对称矩阵，但我也知道单独对称并不能保证非奇异性。

作为参考，我指的是这个等式：

H = X (X^{'} X)^{- 1} X^{'}

$H = X(X'X)^{-1}X'$

对此的任何帮助将不胜感激。

通过下面的有用答案和其他一些谷歌搜索，我想我已经找到了我的问题的答案（至少在大多数情况下）。

执行 OLS 时。我们已经组织了我们的数据 $n$ 观察和 $p$ 参数。几乎在所有情况下 $n > p$ . 这意味着 $X$ 必须是线性独立的。 $X'X$ 结果是一个矩阵 $dim(X'X) = p$ . 这意味着 $X'X$ 还必须具有线性独立的列。因为 $X'X$ 是一个方阵（行等于列），它必须具有线性相关的行（即 $rank(X'X) = p$ 又名“全等级”）。满秩矩阵总是可逆的。

如果我在这里错了，请纠正我，但我认为逻辑如下。

我将这些问题用作资源：

https://math.stackexchange.com/questions/2430179/if-x-is-linearly-independent-prove-xtx-is-positive-defined

https://math.stackexchange.com/questions/691812/proof-of-when-is-a-xtx-invertible

https://math.stackexchange.com/questions/214542/linear-independent-sets-of-non-square-matricies