机器算法验证 - 来自套索的拉格朗日方程的 1/2 - 吾爱随笔录

机器算法验证套索

2022-03-15 07:16:38

我读过这本很棒的书《统计学习的要素》，我对Lagrangian 形式 的 Lasso 问题的 lasso 方程有疑问：

$\hat{\beta}_{lasso} = argmin \{ \frac{1}{2} \sum_{i=1}^{N}(y_i -\beta_0 -\sum_{j=1}^{p} x_{ij}\beta_{j})^2 + \lambda \sum_{j=1}^{p} |\beta_j| \}$

我不知道为什么 $\frac{1}{2}$ lasso 是必需的，但 ridge 则不需要。

$\hat{\beta}_{ridge} = argmin \{\sum_{i=1}^{N}(y_i -\beta_0 -\sum_{j=1}^{p} x_{ij}\beta_{j})^2 + \lambda \sum_{j=1}^{p} \beta_j^2 \}$

参考

Friedman, J.、Hastie, T. 和 Tibshirani, R. (2001)。统计学习的要素（第 1 卷，第 241-249 页）。纽约：Springer 统计系列。

2个回答

没有什么“必要”的因素 $\frac{1}{2}$ . 为方便起见，它通常用于以下形式的二次目标 $\frac{1}{2}x^TQx + g^Tx$ 使得矩阵 $Q$ 最终成为目标函数的 Hessian 矩阵。

在这种情况下，作者在这两个问题之间并不一致。的因素 $\frac{1}{2}$ 可以吸收（调整到） $\lambda$ 并导致一个等效的问题，即具有相同的 argmin（尽管不是相同的最佳目标值）。

因素 $\frac{1}{2}$ 显然没有实际意义，只是重新调整。要看到这一点，只需将目标函数乘以 $2$ ，那么 lasso 显然也解决了等价问题

β_{l 一种 s s ○} \in 参数 分钟 {\sum_{一世 = 1}^{n} ({是的}_{一世} - β_{0} - \sum_{j = 1}^{p} X_{一世 j} β_{j})^{2} + λ^{*} \sum_{j = 1}^{p} | β_{j} |}

$\beta_{lasso} \in \arg\min\{\sum_{i=1}^n (y_i-\beta_0 - \sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda^* \sum_{j=1}^p |\beta_j|\}$ 在哪里

λ^{*} = 2 λ \geq 0

$\lambda^* = 2 \lambda \geq 0$ . 由于 lasso 是一个凸优化问题，因此问题的解决方案将是相同的，而且它们之间存在一对一的关系

λ^{*}

$\lambda^*$ 和

λ

$\lambda$ . 最后，两个等效最小化问题都转化为相同的约束最小化问题（只是不同

λ

$\lambda$ 的）：

\underset{β}{分钟} \sum_{一世 = 1}^{n} ({是的}_{一世} - β_{0} - \sum_{j = 1}^{p} X_{一世 j} β_{j})^{2} s . 吨 . \sum_{j = 1}^{p} | β_{j} | \leq 吨 .

$\min_{\beta}\sum_{i=1}^n (y_i-\beta_0 - \sum_{j=1}^p x_{ij}\beta_j)^2 \qquad s.t. \qquad \sum_{j=1}^p |\beta_j| \leq t.$

因素 $\frac{1}{2}$ 只是为了方便而引入，即在套索的理论分析中简化写作。例如，KKT 条件会被很好地“缩放”，否则你会携带这个因素 $2$ 在整个分析过程中，从二次和的导数中得出。

其它你可能感兴趣的问题