机器算法验证 - 是否存在一套明确的条件，在这些条件下套索、山脊或弹性网络解决方案路径是单调的？ - 吾爱随笔录

机器算法验证套索岭回归弹性网

2022-01-25 18:39:05

从这个套索图（glmnet）得出什么结论的问题演示了套索估计器的非单调解决方案路径。也就是说，一些系数在收缩之前会以绝对值增长。

我已经将这些模型应用于几种不同类型的数据集，并且从未在“野外”看到过这种行为，直到今天还假设它们总是单调的。

是否有一组明确的条件可以保证解决方案路径是单调的？如果路径改变方向，是否会影响结果的解释？

1个回答

我可以给你一个路径是单调的充分条件：一个正交设计 $X$ .

假设一个正交设计矩阵，即 $p$ 变量 $X$ , 我们有 $\frac{X'X}{n} = I_p$ . 使用正交设计，OLS 回归系数很简单 $\hat{\beta}^{ols} = \frac{X'y}{n}$ .

LASSO 的 Karush-Khun-Tucker 条件因此简化为：

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

在哪里 $s$ 是子梯度。因此，对于每个 $j\in \{1, \dots, p\}$ 我们有 $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$ ，并且我们对 lasso 估计有一个封闭形式的解决方案：

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

哪个是单调的 $\lambda$ . 虽然这不是必要条件，但我们看到非单调性必须来自协变量的相关性 $X$ .

其它你可能感兴趣的问题