只有方阵有逆矩阵，两者都没有$X$也不$X^T$这里（必然）是正方形的。我想这是最直接的答案。$X$可能有左逆$A$, 这样$AX = I$. 在这种情况下，如果$X\theta = y$然后$AX\theta = Ay$所以$\theta = Ay$.

构造它的直接方法$A$只是你开始的地方；它是$(X^TX)^{-1}X^T$. 格拉姆矩阵$X^TX$是（正方形，并且）可逆的，如果特征（列）$X$ 是线性独立的，并且， $X^TX$ 更重要的是相对较小，因此倒置是可行的。

无论如何，您通常不会计算逆，但尝试求解系统 $X^TX\theta = X^Ty$ 使用QR分解或其他东西，但这不是您要问的。

的价值 $inv(X)$ 或者 $inv(X^T)$ 不能为非方阵计算，通常你的样本和特征的数量是不同的，所以你的简化不是通用的。

但是，您可以使用伪逆以与您的建议非常相似的方式简化函数符号- 请注意，此处的链接直接指向文章中将这种逆描述为线性最小二乘问题的直接解决方案的部分。注意到伪逆为$pinv(X)$ 然后：

然而，这只是将更基本的推导隐藏在复杂函数后面。所需的计算基本相同。

在实践中，如果您使用支持逆和伪逆的矩阵库，您可以选择使用更长的公式，使用逆或伪逆版本，它会给出几乎相同的结果。