机器算法验证 - 为什么我们不能在 OLS 估计器中取消这两个矩阵？ - 吾爱随笔录

机器算法验证最小二乘矩阵逆矩阵

2022-03-23 01:24:53

当我有样本元素的多变量线性回归模型时 $i$ ：

y_{i} = β_{1} x_{1, i} + . . . + β_{k} x_{k, i} + ϵ_{i},

$y_i=\beta_1x_{1,i}+...+\beta_kx_{k,i}+\epsilon_i,$ 那么 OLS 估计量由以下等式确定：

X^{T} y = X^{T} X β .

$X^Ty=X^T X \beta.$

为什么我们不能简单地取消 $X^T$ 两边？

如果我们碰巧有那个样本量怎么办 $n=k$ ? 那么有可能吗？

1个回答

为什么我们不能简单地取消 $X^T$

我记得 300 年前看到回归方程时，我问自己几乎完全相同的问题 $y=X\beta$ 这是我生命中的第一次。不同的是我告诉自己：我们为什么不简单地解决它 $\beta=X^{-1}y$ ? 事实证明，您和我的问题的答案几乎相同。

“取消”如何运作？在一个简单的代数中，你得到以下

a \times b = a \times c

$a\times b=a\times c$ 然后你将两边乘以相同的数字，在这种情况下它是

a^{- 1}

$a^{-1}$ ：

a^{- 1} a \times b = a^{- 1} a \times c

$a^{-1}a\times b=a^{-1}a\times c$

b = c

$b = c$

问题是两者都没有 $(X^T)^{-1}$ 也不 $X^{-1}$ 存在时 $n\ne k$ . 这些是您可以轻松看到的矩形矩阵，实际上在您的第二个问题中提到了这些矩阵。矩形矩阵没有求逆。稍后我将限定最后一个语句。

什么时候 $n=k$ ，你可以按照我一开始的建议去做，即 $\beta=X^{-1}y$ ，因为不再需要最小二乘问题。它退化为具有唯一解的简单线性代数方程。如评论中所述，甚至不是每个方阵都有解决方案。例如，如果您有一个具有两个相同行的矩阵，则它没有逆矩阵。

回到矩形矩阵的逆。您可能听说过矩阵伪逆运算。你可以用它来反转矩形矩阵，但这里没有捷径：这确实会解决最小二乘方程，所以你会回到起点:)

其它你可能感兴趣的问题