机器算法验证 - 最小角度回归试图解决什么优化问题？ - 吾爱随笔录

在 Hastie 等人的 Elements of Statistical Learning 中，它说

最小角回归 (LAR) ... 可以被视为一种“民主”版本的前向逐步回归（第 3.3.2 节）。正如我们将看到的，LAR 与 lasso 密切相关，实际上提供了一种非常有效的算法来计算整个 lasso 路径，如图 3.10 所示。

前向逐步回归试图解决以下用于选择最佳特征子集的优化问题： st

min_{x} ‖ A x - b ‖_{2}

$\min_x \|Ax-b\|_2$

‖ x ‖_{0} \leq M .

$\|x\|_0 \leq M.$

LASSO 尝试解决以下优化问题

min_{x} ‖ A x - b ‖_{2}

$\min_x \|Ax-b\|_2$ st

‖ x ‖_{1} \leq ϵ .

$\|x\|_1 \leq \epsilon.$

我想知道最小角度回归试图解决什么优化问题？

谢谢！