机器算法验证 - 线性回归和不可逆性 - 吾爱随笔录

机器算法验证回归逆矩阵梯度下降

2022-03-15 17:44:47

在线性回归中，有两种方法可以最小化成本函数：第一种是使用梯度下降。第二个是将成本函数的导数设置为零并求解结果方程。求解方程时，最小化成本函数的参数值由以下众所周知的公式给出：

β = (X^{T} X)^{- 1} X^{T} Y

$\beta = (X^TX)^{-1}X^TY$

在哪里 $\beta$ 是参数值， $X$ 是设计矩阵，并且 $Y$ 是响应向量。

请注意，有一个解决方案 $X^TX$ 必须是可逆的。我认为即使 $X^TX$ 是不可逆的，我们仍然可以使用第一种方法（梯度下降）最小化成本函数。如果这是真的，那么困扰我的是梯度下降的哪个属性使它不容易受到这类问题的影响。

谢谢

3个回答

你真正想要解决的是

X^{T} X β = X^{T} Y .

$X^T X\beta = X^TY.$ 这个方程有一个解，如果

X^{T} X

$X^TX$ 是可逆的（非奇异的）。如果不是，你有更多的解决方案。然后你需要分析原因，即会有一些关于

X

$X$ 这使得

X^{T} X

$X^TX$ 单数。在数学术语中，列

X

$X$ 是线性相关的。在计量经济学术语中，存在多重共线性。

我不确定你的特定问题，但我怀疑你用来最小化成本函数的方法对可逆性有任何影响 $X^T X$ . 问题出在规范中。

存在用于分析哪些列是线性相关/多共线的方法，以哪种方式。它们可能有助于发现规范错误。在计量经济学中，这些问题通常通过展示合适的可估计函数或更改原始问题的规范来解决。您应该在文献中搜索其中一些概念，以找到适合您的问题和先验知识的内容。

我们可以得到解决方案

β = (X^{T} X)^{- 1} X^{T} Y

$\beta=(X^TX)^{-1}X^TY$ 即使

(X^{T} X)^{- 1}

$(X^TX)^{-1}$ 是单数。但是，解决方案不会是唯一的。我们可以绕过问题

(X^{T} X)^{- 1}

$(X^TX)^{-1}$ 通过使用广义逆来解决问题是奇异的。

矩阵 $X^g$ 是矩阵的广义逆 $A$ 当且仅当它满足 $AX^gA=A$ .

因此，使用广义逆的定义，我们可以将最小二乘方程的解写为

β = (X^{T} X)^{g} X^{T} Y

$\beta=(X^TX)^gX^TY$

使用摩尔-彭罗斯逆！它通常是“最好的”广义逆，因为它最小化了残差平方和（如果你假设高斯噪声在 $Y$ )它是独一无二的。这是你的梯度下降应该收敛的，但是因为损失是二次的，它也可以直接解决（例如使用 SVD）。

还要研究加权最小二乘法和广义最小二乘法，以便立即推广到处理具有更复杂方差/相关性的数据。

其它你可能感兴趣的问题