当\lambda在 Lasso 中可以增加吗?∥β*∥2‖β∗‖2λλ

机器算法验证 套索
2022-03-15 04:12:51

如果β=argminβyXβ22+λβ1,可以β2增加时λ增加?

我认为这是可能的。虽然\|\beta^*\|_1在\lambdaβ1增加时不会增加(我的证明),但\|\beta^*\|_2可以增加。下图显示了一种可能性。\lambda增加时,如果\beta^*从P(线性)行进Q,则\|\beta^*\|_2增加而\|\beta^*\|_1减少。但我不知道如何构造一个具体的例子(即构造Xy),以便\beta^*的配置文件展示这种行为。有任何想法吗?谢谢你。λβ2λβPQβ2β1Xyβ

在此处输入图像描述

2个回答

答案是肯定的,你在2中有一个图形证明。

查找向量范数等价的定义。你会发现

x2x1nx2,
其中n是向量x的维数。因此,与\ell_1范数相比, \ell_2 范数有一些回旋余地21

实际上,您要解决的问题可以表述为:

d满足

x+d2>x2
,同时
x+d1<x1.

将第一个不等式平方,展开并看到

2ixidi>idi2
并且通过假设xi0xi+di0,我们从第二个不等式得到我们必须有
idi<0.
任何满足这些约束的d都会增加2 ell_2 范数,同时减少1范数。

在您的示例中,d[0.4,0.3]Tx:=P[0.5,0.6]T

idi0.1<0,
2iPidi0.04>0.25idi2.

感谢@TommyL 的回答,但他的回答并不直接针对的构造。我自己以某种方式“解决”了这个问题。首先,当增加时,单调减少不会增加。这发生在是正交的时,我们有Xyλβ2βiX

βi=sign(βiLS)(βiLSλ)+

在几何上,在这种情况下范数的轮廓移动不能增加。β1β2

实际上,Hastie 等人。在论文Forward stagewise regression and the monotone lasso中提到,轮廓路径单调性的充分必要条件:

在此处输入图像描述

在论文的第 6 节中,他们构建了一个基于分段线性基函数的人工数据集,该数据集违反了上述条件,显示了非单调性。但如果运气好的话,我们还可以创建一个随机数据集,以更简单的方式展示类似的行为。这是我的 R 代码:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

我故意让的列高度相关(远离正交情况),并且真正的有很大的正负条目。这是的配置文件(毫不奇怪,只有 5 个变量被激活):Xββ

在此处输入图像描述

以及之间的关系:λβ2

在此处输入图像描述

所以我们可以看到对于的某个区间,随着的增加而增加。λβ2λ