信息处理 - 大号1L1范数最小化方案之间的差异 - 吾爱随笔录

大号1L1范数最小化方案之间的差异

信息处理反卷积稀疏性稀疏模型规范

2022-02-15 00:07:17

我正在阅读和使用 L1 正则化最小二乘法，其中：

\arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{1}

$\arg \min_{\boldsymbol{x}} \frac{1}{2} {\left\| A \boldsymbol{x} - \boldsymbol{y} \right\|}_{2}^{2} + \lambda {\left\| \boldsymbol{x} \right\|}_{1}$

用于求解 $\boldsymbol{x}$ 中的稀疏解。但是，我也偶然发现了类似案例的不同最小化：

\arg min_{x} {‖ x ‖}_{1} subject to {‖ A x - y ‖}_{1} < δ

$\arg \min_{\boldsymbol{x}} {\left\| \boldsymbol{x} \right\|}_{1} \mbox{ subject to } {\left\| A \boldsymbol{x} - \boldsymbol{y} \right\|}_{1}< \delta$

所以在第二种情况下，表达式不是不受约束的，但他们将两个部分都切换到 L1 范数......如果两者都在 $\boldsymbol{x}$ 中寻找稀疏解决方案，这样做的原因是什么？

1个回答

您拥有的第一个方程通常称为二次问题，通过使用对偶性可以证明它等同于给定的基础追踪去噪 (BPDN)：在您的第二个问题中，L2 范数被约束中的 L1 范数替换。当你约束 L2 误差时，你往往会得到一个非常密集的误差向量，即很多非零元素，并且每个误差相对于都很小。

\arg min_{x} {‖ x ‖}_{1} subject to {‖ A x - y ‖}_{2} < δ .

$\arg \min_{\boldsymbol{x}} {\left\| \boldsymbol{x} \right\|}_{1} \mbox{ subject to } {\left\| A \boldsymbol{x} - \boldsymbol{y} \right\|}_{2}< \delta .$

δ

$\delta$

通过将错误转换为 L1 范数，他们试图使错误向量稀疏（而不是密集）。所以在这个公式中：

\arg min_{x} {‖ x ‖}_{1} subject to {‖ A x - y ‖}_{1} < δ

$\arg \min_{\boldsymbol{x}} {\left\| \boldsymbol{x} \right\|}_{1} \mbox{ subject to } {\left\| A \boldsymbol{x} - \boldsymbol{y} \right\|}_{1}< \delta$

他们试图找到：

在以下约束下稀疏的 $\boldsymbol{x}$
$\boldsymbol{e}=A \boldsymbol{x} - \boldsymbol{y}$ 也是稀疏的。

从这个意义上说，您可能认为他们真正想要解决的问题是：但因为这是一个非常困难的问题，所以他们使用了他们给出的凸公式。

\arg min_{x} {‖ x ‖}_{0} subject to {‖ A x - y ‖}_{0} < δ

$\arg \min_{\boldsymbol{x}} {\left\| \boldsymbol{x} \right\|}_{0} \mbox{ subject to } {\left\| A \boldsymbol{x} - \boldsymbol{y} \right\|}_{0}< \delta$

其它你可能感兴趣的问题

上一篇MATLAB zp2sos 和 python zpk2sos 函数之间的区别下一篇尽管我们不知道信号，但信号的频率和带宽的含义