计算科学 - 关于扩展 Tikhonov 正则化的问题 - 吾爱随笔录 - 问答

关于扩展 Tikhonov 正则化的问题

计算科学线性代数优化线性求解器

2021-12-24 13:26:14

我知道线性系统的 Tikhonov 正则化有一个解析解：

\hat{x} = a r g m i n ({| A x - b |}^{2} + {| Γ x |}^{2}) = {(A^{⊤} A + Γ^{⊤} Γ)}^{- 1} A^{⊤} b

$\begin{equation} \hat{\mathbf{x}} = \mathrm{arg\;min}\left( \left| \mathbf{Ax} - \mathbf{b} \right|^{2} + \left| \mathbf{\Gamma x} \right|^{2} \right) = \left( \mathbf{A}^{\top}\mathbf{A} + \mathbf{\Gamma}^{\top}\mathbf{\Gamma} \right)^{-1} \mathbf{A}^{\top} \mathbf{b} \end{equation}$

是否有可能扩展这个想法以获得具有附加权重的系统的解析解？IE

\hat{x} = a r g m i n ({| A x - b |}^{2} + {| Γ x |}^{2} + {| U x |}^{2}) = ?

$\begin{equation} \hat{\mathbf{x}} = \mathrm{arg\;min}\left( \left| \mathbf{Ax} - \mathbf{b} \right|^{2} + \left| \mathbf{\Gamma x} \right|^{2} + \left| \mathbf{U x} \right|^{2} \right) = \; ? \end{equation}$

谢谢你的帮助！

1个回答

是的：

通过计算要最小化的泛函的一阶最优条件，然后对导出的线性系统求逆，得到了 Tikhonov 正则化的解。对您的功能应用相同的过程，让：

I (x) = {| A x - b |}^{2} + {| Γ x |}^{2} + {| U x |}^{2}

$I(\mathbf{x}) = \left|\mathbf{Ax} - \mathbf{b}\right|^2 + \left|\mathbf{\Gamma x}\right|^2 + \left|\mathbf{Ux}\right|^2$ 然后，将导数 wrt 为

x

$\mathbf{x}$ 并将其设置为零，我们得到：

\frac{\partial I}{\partial x} = 0 = 2 [A^{T} (A x - b) + Γ^{T} Γ x + U^{T} U x]

$\frac{\partial I}{\partial\mathbf{x}}= 0 = 2 \left[\mathbf{A}^{T}\left(\mathbf{Ax}-\mathbf{b}\right) + \mathbf{\Gamma}^T\mathbf{\Gamma x} + \mathbf{U}^{T} \mathbf{Ux} \right]$ 重新排列和解决

x

$\mathbf{x}$ ，给出：

x = {(A^{T} A + Γ^{T} Γ + U^{T} U)}^{- 1} A^{T} b

$\mathbf{x}=\left(\mathbf{A}^{T}\mathbf{A} + \mathbf{\Gamma}^T\mathbf{\Gamma} + \mathbf{U}^{T} \mathbf{U}\right)^{-1} \mathbf{A}^{T} \mathbf{b}$

其它你可能感兴趣的问题

上一篇如何在 Eigen C++ 中使用 TrangularView 类下一篇是否有一个通用框架来并行求解均匀网格上的偏微分方程