在神经网络回归中标准化/重新缩放标签是否有价值?

数据挖掘 神经网络 正常化 标签
2021-09-22 08:40:15

是否有任何论文,或者是否有人有任何具体经验来了解回归问题中的归一化标签是否可能会提高神经网络的性能?我的标签在 (0,1000) 范围内,在 ConvNet 中应用平方损失。我想知道将这些归一化到 (0,1) 范围是否有用,或者是否知道这无关紧要。

1个回答

是的,你应该这样做。给定初始化方案和归一化输入,输出的预期值为 0。这意味着您不会离开始太远,这有助于收敛。如果你的目标是 1000,你的均方误差会很大,这意味着你的梯度也会很大,这会导致数值不稳定。