机器算法验证 - 稀疏线性回归 0 范数和 1 范数 - 吾爱随笔录

我们有回应 $Y \in \Bbb R^n$ 和预测器 $X = (x_1, x_2, \cdots, x_m)^T \in \Bbb R^{n \times m}$

我们要解决的问题是

{argmin}_{k \in R^{m}} (‖ Y - X k ‖_{2}^{2} + λ ‖ k ‖_{0}) \to k_{0}

$\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_0) \rightarrow k_0$

然而，它是 NP 难的，所以我们解决

{argmin}_{k \in R^{m}} (‖ Y - X k ‖_{2}^{2} + λ ‖ k ‖_{1}) \to k_{1}

$\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_1) \rightarrow k_1$

在这篇论文 “Learning physical descriptors for materials science bycompressed sense”中，据说

对于高度相关的特征， $\lambda \Vert k \Vert_1$ 可能不是 \lambda \Vert k \Vert_0 的良好 $\lambda \Vert k \Vert_0$

我的问题：

和\的非零分量的数量进行了限制。但是，当特征相关时找到的优势是什么？ $\lambda \Vert k \Vert_0$ $\lambda \Vert k \Vert_1$ $k$ $k$ $\lambda \Vert k \Vert_0$

此外，是否有一个直观的例子可以证明我上面引用的观点？