缩放如何影响逻辑回归?

数据挖掘 机器学习 逻辑回归 特征缩放
2022-03-06 07:40:26

我在网上搜索了很多这个问题,但我似乎从来没有找到一个一致但直接的答案。简单地说,问题是:缩放究竟如何影响逻辑回归?当数据被缩放时,你应该对逻辑回归分类器有什么期望?就逻辑回归而言,最小-最大缩放和标准缩放之间有什么区别吗?

1个回答

它会影响任何通过梯度下降形式优化的东西,因为它会影响输入维度的相对比例。如果 A 通常比 B 大 1000 倍,那么将 B 的系数改变一定量在某种意义上是 1000 倍大的移动。理论上这无关紧要,但实际上它会导致梯度下降无法在 B 维度的正确位置着陆。

我认为更显着的影响可能是正则化。在一个简单的正则化公式中,所有项都受到同等惩罚。同样,如果 A 通常比 B 大 1000 倍,它的系数往往会比 B 小 1000 倍(所有其他条件都相同),因此在没有特别理由区别对待它们的情况下,受到的惩罚要小得多。

最后,如果您想将系数的大小视为与重要性相关,出于同样的原因,它会影响解释。