在大多数文献中,强调与 L1 范数 (MAE) 相比,在处理异常值时,L2 范数 (MSE) 会产生更高的误差。
但是当我们对 0 和 1 之间的数据进行归一化时会发生什么?
数据归一化是否会降低 L2 对异常值的敏感性,因为它必须计算低于 1 的值的平方(因此与 L1 相比,误差会更小)?
在大多数文献中,强调与 L1 范数 (MAE) 相比,在处理异常值时,L2 范数 (MSE) 会产生更高的误差。
但是当我们对 0 和 1 之间的数据进行归一化时会发生什么?
数据归一化是否会降低 L2 对异常值的敏感性,因为它必须计算低于 1 的值的平方(因此与 L1 相比,误差会更小)?
缩放不会改变值之间的关系,因为在缩放时您将所有值除以相同的常数。异常值将保持异常值。如果两个值相差很大平方和更小的差异平方,然后将值归一化后,它们之间的差异会发生变化,但它们的关系将是相同的。与绝对值的差异相同。显然,在平方情况下归一化后,距离仍然是平方规模,在绝对值情况下,它们仍然是线性的。