归一化输入的一个原因是使梯度下降更稳定，因为梯度在有意义的更新中花费更多时间在舒适的区域中，并且在训练期间更少的神经元“死亡” - 卡在例如 sigmoid 非线性的尾部之一。

标准化输出分布可能不是最好的主意，因为根据定义，您会改变目标的定义。这意味着您实际上是在预测一个不反映您的现实世界目标的分布（至少以后没有一些反向非线性变换）。

在这方面，您可以做的是缩放目标，而不是标准化。分布的形状应该保持几乎相同（考虑分布的形状），但值本身可能更容易获得，因此可以更快地优化；它们在幅度上都更接近正在计算的梯度。