我正在尝试对为什么 L1 回归比 L2 回归更昂贵的直觉。有人能指点我一些解释为什么会这样的材料吗
L1 回归与 L2 回归
机器算法验证
回归
2022-04-02 14:40:32
1个回答
L1 正则化导致在导数中具有不连续性的惩罚损失函数,而 L2 正则化不会引入不连续性。这意味着当您执行惩罚损失的梯度下降优化时,需要检查一个步骤是否越过这些不连续性之一以确保它得到正确处理(希望解决方案将位于这些不连续性之一,因为这是是什么导致了稀疏性)。使用 L2 正则化没有这样的(额外的)不连续性,因此无需检查它们,因此通常更快。在 [kernel] 岭回归的情况下,您只需要求解一个线性方程组,这就是为什么我现在通常使用这些方法而不是 L1 正则化。
其它你可能感兴趣的问题