让$X$（尺寸$n\times p$) 表示一组标准化输入，$y$（尺寸$n \times 1$) 集中响应，$\beta$（尺寸$p \times 1$) 回归权重和$\lambda > 0$一种$l_1$-范数惩罚系数。

LASSO 问题然后写

$$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$$

的所有值求解此问题产生所谓的 LASSO 正则化路径。$\lambda > 0$$\beta^*(\lambda)$

对于惩罚系数的固定值（即活动预测变量的固定数量 = LARS 算法的固定步长），可以证明满足（只需写出 KKT 平稳性条件，如下所示回答）$\lambda^*$$\beta^*$

$$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$$

用表示一组活跃的预测器。$A$

因为必须是正的（它是一个惩罚系数），很明显（任何非零的权重，因此是主动预测器）的符号应该与即与当前回归残差的相关性。$\lambda^*$$\beta_a^*$$X_a^T (y - X\beta^*) = X_{a}^T r$

@Mr._White 对 LARS 和 Lasso 之间的主要区别提供了非常直观的解释；我要补充的唯一一点是，套索（有点）像一种向后选择方法，只要存在一个术语，就可以在每个步骤中剔除一个术语，因为这些（“标准化”超过）相关性存在。LARS 将所有内容都保存在那里——基本上以所有可能的顺序执行套索。这确实意味着在 lasso 中，每次迭代都取决于哪些项已被删除。 $X \times X$

Effron 的实现说明了差异很大：源 pkg 中的 lars.R 用于 lars。矩阵和从第 180 行开始的更新步骤的项的删除。我可以想象由空间引起的一些奇怪情况，其中术语不平衡（和非常相关但与其他项不相关，与但与其他项不相关，等等）选择顺序可能会非常有偏差。$X \times X$$\zeta$$\zeta_{min} < \zeta_{current}$$A$$x_1$$x_2$$x_2$$x_3$