弹性网比套索有什么缺点吗?

机器算法验证 套索 弹性网
2022-03-02 15:45:38

与套索相比,使用弹性网有什么缺点。我知道弹性网络能够选择高度相关的变量组。

  1. 不存在选择多于的问题n预测器何时pn. 而当套索饱和时pn.

  2. 当存在高度相关的预测变量时,套索倾向于只从组中选择一个预测变量。

  3. 什么时候np并且预测变量是相关的,lasso 的预测性能小于 ridge。

套索的所有这些缺点都被弹性网克服了。

我不明白什么时候应该使用套索?当弹性网的性能优于套索时,是否有任何理由使用它?在某些情况下使用弹性网有什么缺点?在哪些情况下套索会是更好的选择?

1个回答

一个缺点是计算成本。您需要交叉验证 L1 与 L2 惩罚的相对权重,α,这会增加计算成本α网格。

另一个缺点(但同时也是一个优点)是估算器的灵活性。更大的灵活性会增加过度拟合的可能性。可能是最优的α对于总体和给定的样本量是0,将弹性网络转换为套索,但您碰巧选择了不同的值(因为该值在特定样本中进行交叉验证时会提供更好的性能)。