计算科学 - Tikhonov (Ridge) 回归和归一化 - 吾爱随笔录

Tikhonov (Ridge) 回归和归一化

计算科学线性代数矩阵统计数据逆问题

2021-11-24 15:12:45

对于解决逆问题的典型岭回归方法

min_{x} | | A x - b | |^{2} + λ^{2} | | Γ x | |^{2}

$\min_x ||A~x - b||^2 + \lambda^2||\Gamma~x||^2$ 其中有一个解析解应该怎么做被“标准化”？我有一个模型，其中是离散测量（粒子计数）。理想情况下，估计的正向投影的将等于观察数据的总和

{\hat{x}}_{e s t} = (A^{T} A + λ^{2} Γ^{T} Γ)^{- 1} A^{T} b

$\hat{x}_{est}=(A^TA+\lambda^2 \Gamma^T\Gamma)^{-1} A^T b$

A, λ, x, b

$A, \lambda, x, b$

b_{d a t a}

$b_{data}$

\sum A {\hat{x}}_{e s t}

$\sum A~\hat{x}_{est}$

\sum A {\hat{x}}_{e s t} = \sum b_{d a t a}

$\sum A ~ \hat{x}_{est} = \sum b_{data}$

目前我发现当我将 tikhonov 参数从 0 增加到非零数时，总和迅速减小。我需要保留“绝对”比例。 $\lambda$ $\sum A ~ \hat{x}_{est}$

我的建模矩阵 $A$ 是否应该以某种方式归一化？数据向量应该 $b_{data}$ 吗？请尽可能具体。

1个回答

这是一个你如何选择和的问题（当然）。想一想如果你选择并使变大会发生什么：在这种情况下，你说最小化正则化项而不是最小化失配。显然，使项变小意味着使变小，因此选择大就等于说：对我来说，向量比拟合数据的向量更重要。 $\lambda$ $\Gamma$ $\Gamma=I$ $\lambda$ $\|Ix\|^2=\|x\|^2$ $\|Ax-b\|^2$ $\|x\|^2$ $x$ $\lambda$ $x$ $x$

但您也可以选择不同的矩阵。例如，如果是一个计算连续向量元素之间差异的矩阵，即那么即使你使大，你现在所说的是你关心的连续元素是相似的，但你不是试图最小化的大小不再。 $\Gamma$ $\Gamma$

Γ = (\begin{matrix} 1 & - 1 & 0 & \dots \\ 0 & 1 & - 1 & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{matrix})

$\Gamma = \begin{pmatrix} 1 & -1 & 0 & \cdots \\ 0 & 1 & -1 & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{pmatrix}$

λ

$\lambda$ $x$ $x$

换句话说，如果你想保留某些特征，那么它们应该在的零空间中，而你想要抑制的特征不应该在零空间中。 $\Gamma$

其它你可能感兴趣的问题

上一篇求解具有对称近三对角矩阵的线性系统的有效算法？下一篇具有 Toeplitz 内核的 Hermitian 系统的 Lanczos 算法