计算科学 - 对角线“抖动”对数值稳定性的优势？ - 吾爱随笔录

对角线“抖动”对数值稳定性的优势？

计算科学稳定机器学习逆问题

2021-11-27 09:06:20

在机器学习代码中，通过最大似然估计计算线性回归模型的最佳参数 $\theta _{MLE}$

θ^{ML} = (Φ^{T} Φ)^{- 1} Φ^{T} y

$\boldsymbol \theta^\text{ML} = (\boldsymbol\Phi^T\boldsymbol\Phi )^{-1}\boldsymbol\Phi^T\boldsymbol y$

其中 $y$ 是目标向量， $\Phi$ 是多项式特征矩阵。在链接的笔记本中，我们可以找到：

出于数值稳定性的原因，我们经常在 $\kappa$ ，这样我们就可以在没有明显问题的情况下反转矩阵，从而使最大似然估计变为 $\boldsymbol\Phi^T\boldsymbol\Phi$
$θ^{ML} = (Φ^{T} Φ + κ I)^{- 1} Φ^{T} y$ $\boldsymbol \theta^\text{ML} = (\boldsymbol\Phi^T\boldsymbol\Phi + \kappa\boldsymbol I)^{-1}\boldsymbol\Phi^T\boldsymbol y$

在代码中， $\kappa$ 是非常小的值 1e-08。

那么，对角线“抖动” $\kappa$ 是如何影响稳定性的呢？

3个回答

所以，你想反转你的矩阵 $A=\Phi^T\Phi$ 。 $A$ 是可逆的，它的特征值不能为零。我们可以证明 $A$ 是半正定的，如下所示。半正定意味着 $A$ 的特征值为 $\geq 0$ 。这相当于显示 $y^TAy \geq 0, \forall y \neq 0$ 。

y^{T} A y = y^{T} Φ^{T} Φ y = (Φ y)^{T} (Φ y) \geq 0

$y^TAy = y^T\Phi^T\Phi{y}=(\Phi{y})^T(\Phi{y}) \geq 0$

所以我们证明了是半正定的。因此，它的特征值可能为零，因此将使其不可逆。因此，我们将替换为，其中可以选择正定，因此是可逆的。 $A$ $A$ $A+\kappa{I}$ $\kappa > 0$ $A+\kappa{I}$

y^{T} (A + κ I) y = y^{T} A y + κ y^{T} y

$y^T(A+\kappa{I})y = y^T{A}y + \kappa{y}^Ty$

由于和，选择一个小的正呈现因此是可逆的。 $y^T{A}y \geq 0$ $y^Ty>0$ $\kappa$ $y^T(A+\kappa{I})y > 0 \,\,\, \forall y\neq0$

查找有关Tikhonov 正则化的内容，也称为机器学习中的岭回归。这是一种标准技术（但我同意该笔记本中的解释有些差）。

从技术上讲，它不会影响该算法的数值稳定性，但它会将问题修改为条件更好的问题，从到 $\min \|\Phi \theta - y\|^2$

min ‖ Φ θ - y ‖^{2} + κ ‖ θ ‖^{2} .

$\min \|\Phi \theta - y\|^2 + \kappa \|\theta\|^2.$

是一个标量值时，想想最简单的情况。 $\Phi$

定义不明确：

θ^{ML} = (0^{T} 0)^{- 1} 0^{T} y = \frac{1}{0} 0 y = \frac{0}{0}

$\boldsymbol \theta^\text{ML} = (0^T 0)^{-1}0^T ~ y = \frac{1}{0} 0~y= \frac{0}{0}$

定义明确：

θ^{ML} = (0^{T} 0 + κ)^{- 1} 0^{T} y = \frac{1}{κ} 0 y = 0

$\boldsymbol \theta^\text{ML} = (0^T 0 + \kappa)^{-1}0^T~y =\frac{1}{\kappa} 0 ~y= 0$

其它你可能感兴趣的问题

上一篇和有什么区别你Huh和一世H（你）Ih(u)在有限元文献中？下一篇通过 FFT 计算数值导数 - SciPy