正则化如何帮助消除异常值?

数据挖掘 机器学习 正则化 数学
2022-03-06 16:10:08

我听说正则化有助于摆脱异常值,那是怎么回事?'我的直觉是,正则化会缩小参数甚至使其为零,因此较大的值对整体结果的影响较小'。你能再解释一下吗?

1个回答

你没有摆脱实际的异常值(没有数据减少)。但是统计方法可以对异常值具有鲁棒性

稳健统计是对从广泛的概率分布中提取的数据具有良好性能的统计,尤其是对于非正态分布。已经为许多常见问题开发了强大的统计方法,例如估计位置、尺度和回归参数。一个动机是产生不受异常值过度影响的统计方法。

来源:维基百科

因此,L-1 正则化对异常值具有鲁棒性,因为它使用估计的异常值和惩罚项之间的绝对值。

L1-正则化

然而,L2 正则化对异常值并不稳健,因为平方项会放大估计和惩罚之间的差异。

L2-正则化