在线性回归中从到归一化时,我应该期望看到更多的偏差还是更多的方差?请注意,偏差是欠拟合的标志,方差是过拟合的标志。假设常数λ。
我在这里寻找一般的经验法则。如果没有,答案取决于我没有考虑的其他一些因素,请解释。
在线性回归中从到归一化时,我应该期望看到更多的偏差还是更多的方差?请注意,偏差是欠拟合的标志,方差是过拟合的标志。假设常数λ。
我在这里寻找一般的经验法则。如果没有,答案取决于我没有考虑的其他一些因素,请解释。
方差会增加,L1 正则化的问题是一些系数是高度不可预测的。答案取决于您的正则化程度(值)。我用不同的种子生成了带有高斯噪声的正弦波,观察到随着值的增加,l1 范数的方差越低 l2 范数的方差越小。
正如您在图像中看到的,alpha 是正则化系数。在时,我们看到 Rigde 回归系数之间的相应差异很大,但是随着 alpha 的增加,岭的偏差急剧减小。但是当时,lasso 和 ridge 的方差都较低。因此,随着 alpha 的降低,岭的方差急剧增加。
PS:我已经多次尝试过这种设置,并且趋势是一致的。
因此,回答您的问题时,当您从 L1 切换到 L2 正则化器时,方差会增加(并且增加的规模取决于值。)
我还添加了 vector.just 的点积,以查看的不同之处。之间存在很大差异。这将通过更详细的分析进一步扩展。