为什么我们需要在回归框架中应用惩罚方法之前对数据进行归一化?

机器算法验证 回归 正则化
2022-04-08 12:59:48

如果我们使用一种方法来控制回归模型的复杂性,即在误差中添加惩罚项:E^=E+λΩ并用作正则化术语 omega,例如对大权重的惩罚Ω=||w||22w作为权重向量,为什么我们之前需要对数据进行归一化?

1个回答

事先对变量进行归一化的原因是为了确保正则化项λ以(有点)类似的方式规范/影响涉及的变量。这里出现了一个非常有趣的涉及这个问题的线程,其中对标准化和非标准化数据进行了正则化,不出所料,结果完全不同。

简而言之,当您强加以下内容时:(XTX+λΩ)1而不是通常的(XTX)1你想要的效果λ甚至跨越构成的所有变量X. 如果变量具有显着不同的尺度(想想x1作为秩序1e1x2有秩序1e5,因此例如分别以年为单位的年龄和以克为单位的体重)将两者正则化(粗略地说接受测量中的某种程度的误差)相同的量级是荒谬的。如果您有兴趣,可以参考维基百科关于Tikhonov 正则化矩阵正则化的引理,以更理论的方式对此进行跟进。