对于不同的特征值,过度拟合的模型往往具有很大不同(一些非常高,一些相对较低)的系数/权重。因此,这意味着模型(当绘制为图形时)的斜率变化很大,即使训练数据值(特征值)的微小变化也会导致输出的巨大变化。为了平滑具有高斜率变化的过度拟合模型/曲线,我们使用正则化(例如:L1/L2)。
L1 正则化从模型中删除了不必要的/影响较小的特征,从而使模型变得不那么复杂。它通过将这些特征的权重/系数更改为 0 来实现。因此,当我们有许多不必要的特征时,这种正则化很有用,并且也被认为对特征选择很有用。
L2 正则化缩小/调整极端权重,并产生一组分布更均匀的权重。与 L1 正则化不同,它不会导致特征的权重为 0。因此,当我们知道所有/大部分特征对模型有用时,这种正则化会更好一些。