机器算法验证 - LASSO 之间的关系λλ和吨t - 吾爱随笔录

我对LASSO回归的理解是选择回归系数来解决最小化问题：

min_{β} ‖ y - X β ‖_{2}^{2} s . t . ‖ β ‖_{1} \leq t

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

在实践中，这是使用拉格朗日乘数完成的，使问题得到解决

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

$\lambda$ 和之间有什么关系 $t$ ？维基百科无益地简单地指出这是“数据依赖”。

我为什么在乎？首先是为了求知欲。但我也担心通过交叉验证选择 $\lambda$

具体来说，如果我正在进行 n 次交叉验证，我会将 n 个不同的模型拟合到我的训练数据的 n 个不同分区。然后，我比较每个模型在给定 $\lambda$ 的未使用数据上的准确性。但是对于不同的数据子集，相同的 $\lambda$ 意味着不同的约束 ( $t$ )（即 $t=f(\lambda)$ 是“数据相关的”）。

我真的想解决的交叉验证问题不是找到能够提供最佳偏差精度权衡的 $t$

通过计算每个交叉验证拆分和并查看结果分布，我可以在实践中大致了解这种效果的大小。在某些情况下，隐含的约束 ( ) 在我的交叉验证子集中可能会发生很大变化。的变异系数。 $\|\beta\|_1$ $\lambda$ $t$ $t>>0$