我读到逻辑回归中的 L2 正则化创建了一种限制权重选择的球体,但为什么会发生这种情况?
逻辑回归的 L2 正则化背后的数学
数据挖掘
机器学习
逻辑回归
2022-03-09 13:32:42
2个回答
您的问题实际上是关于约束优化中的拉格朗日乘数方法,而不是逻辑回归本身。它的要点是可以通过添加一个称为正则化器的术语将约束优化问题重新转换为无约束优化问题,反之亦然。球体来自于将无约束问题重铸为有约束问题;回想一下,一个常数范数定义了一个超球面。
考虑这一点的一个简单方法是意识到您正在最小化目标函数。L2 正则化改变了目标函数的输出,使得较小的值更受青睐。因此,您对针对 0 的参数具有恒定的“压力”。
其它你可能感兴趣的问题