与归一化的偏差和方差特性大号1L1大号2L2

机器算法验证 方差 套索 偏见 正则化 岭回归
2022-04-01 19:46:17

在线性回归中从归一化时,我应该期望看到更多的偏差还是更多的方差?请注意,偏差是欠拟合的标志,方差是过拟合的标志。假设常数λ。L2L1

我在这里寻找一般的经验法则。如果没有,答案取决于我没有考虑的其他一些因素,请解释。

1个回答

方差会增加,L1 正则化的问题是一些系数是高度不可预测的。答案取决于您的正则化程度(值)。我用不同的种子生成了带有高斯噪声的正弦波,观察到随着值的增加,l1 范数的方差越低 l2 范数的方差越小。λλλ
在此处输入图像描述

正如您在图像中看到的,alpha 是正则化系数。时,我们看到 Rigde 回归系数之间的相应差异很大,但是随着 alpha 的增加,岭的偏差急剧减小。但是当时,lasso 和 ridge 的方差都较低。因此,随着 alpha 的降低,岭的方差急剧增加。α=1e15α=10

PS:我已经多次尝试过这种设置,并且趋势是一致的。
因此,回答您的问题时,当您从 L1 切换到 L2 正则化器时,方差会增加(并且增加的规模取决于值。)λ

在此处输入图像描述

我还添加了 vector.just 的点积,以查看的不同之处。之间存在很大差异这将通过更详细的分析进一步扩展。WwWs