当数据在 0 和 1 之间归一化时,L1 (MAE) 与 L2 (MSE)

机器算法验证 最小二乘 正常化 损失函数 毫秒
2022-03-24 02:33:47

在大多数文献中,强调与 L1 范数 (MAE) 相比,在处理异常值时,L2 范数 (MSE) 会产生更高的误差。

但是当我们对 0 和 1 之间的数据进行归一化时会发生什么?

数据归一化是否会降低 L2 对异常值的敏感性,因为它必须计算低于 1 的值的平方(因此与 L1 相比,误差会更小)?

1个回答

缩放不会改变值之间的关系,因为在缩放时您将所有值除以相同的常数。异常值将保持异常值。如果两个值相差很大x1,x2平方和更小的差异x1,x3平方,然后将值归一化后,它们之间的差异会发生变化,但它们的关系将是相同的。与绝对值的差异相同。显然,在平方情况下归一化后,距离仍然是平方规模,在绝对值情况下,它们仍然是线性的。