在分类问题中使用 Lasso 进行特征选择有什么缺点？

机器算法验证 特征选择 套索
2022-04-02 16:49:41

我了解使用 Lasso 的优势（例如可扩展性、正则化）。话虽如此，我也知道 Lasso 是一种用于特征选择的近似方法，并且它不一定返回特征的最佳子集（即，将通过或brute-强制搜索）。ℓ0

鉴于此，我想知道：

  1. 在二元分类问题中使用 Lasso 进行特征选择有哪些实际缺点？

  2. 有没有一个现实的例子，套索返回的特征子集与真正的最优特征集完全不同？

注意：为了清楚起见，我知道有一个关于Lasso 与逐步回归的相关讨论。我发布新问题而不是在旧论坛中发布的原因是：

  • 老问题是关于回归问题
  • 旧问题将套索与逐步回归（也是一种近似方法）进行比较。相比之下，我想这是试图将套索（ -penalty 正则化）与蛮力（ -penalty 正则化）进行比较，这将是最佳的。ℓ1ℓ0
1个回答

Lasso 不只是做特征选择。它试图最小化因回归系数的大小而受到惩罚的平方误差之和。与 OLS 程序相比，这通常会导致较低的均方误差。

惩罚的性质将许多回归系数推到零；诱导稀疏性，从而构成特征选择的形式。l1

但是，如果我们通过最小误差平方和来选择所有可用预测变量的最佳子集 - 最佳选择将是所有预测变量。

如果我们设置一个任意的，我们怎么知道我们不应该选择？Lasso 没有这个问题，因为是根据优化问题在原则基础上选择的。k=10k=11k

其它你可能感兴趣的问题
上一篇GradientBoostClassifier（sklearn）需要很长时间来训练 下一篇对于动态系统 (ODE) 模型中的参数估计，ABC 如何比精确贝叶斯计算更高效？