可变系数上升,然后随着 lambda 的减小而下降(LASSO)

机器算法验证 套索 正则化 网络
2022-03-28 21:53:30

我正在使用 LASSO (glmnet) 对超过 60 个变量(连续和分类)的连续预测器进行回归。

在检查变量跟踪图时,我注意到随着 log lambda 的增加,其中一个关键变量的系数实际上会增加。然后,在某个点之后,它开始像我们预期的那样下降。

为了确保这不是侥幸,我使用引导程序运行了 10 个模型并获得了非常相似的结果。

这是可能的,还是数据有问题?如果合法,变量系数的这种趋势告诉我们关于变量和与响应的关系的什么?

初始变量轨迹图 10 个自举模型

1个回答

这不仅有可能,而且非常普遍。

请注意,罚款是 λ||β||1. 因此,只要其他成分减少,某些成分的幅度就可以增加,而不会增加整体的标准。有时作为λ增加,一个(或几个)系数可能会以牺牲其他系数为代价而增加,这些系数一起减少至少同样快,因为它有助于降低失配项的增长率,而不是一起减少它们将。

你可能想绘制会发生什么i|βi|作为logλ增加。

当预测变量之间存在某种相关性时,您经常会看到这种行为 - 可能存在一种替代效应。

请注意,在您的顶部情节|β4|+|β11|几乎总是减少或相当稳定(偶尔的小幅增加将被其他变量系数的减少所抵消)