我知道当我通过回归预测单个值时,没有必要缩放神经网络的输出。
如果我有多个输出在 10^-2 和 10^4 之间变化,是否有必要对我的神经网络的输出进行归一化?我的直觉告诉我,损失函数可能会忽略较小的值,而只关注较大的值。
我知道当我通过回归预测单个值时,没有必要缩放神经网络的输出。
如果我有多个输出在 10^-2 和 10^4 之间变化,是否有必要对我的神经网络的输出进行归一化?我的直觉告诉我,损失函数可能会忽略较小的值,而只关注较大的值。
是的,如果没有在成本函数中引入适当的权重或目标变量没有标准化,优化过程将由规模最大的目标变量驱动。
因此,如果它们在规模方面存在巨大差异,则将输出标准化是一个很好的做法。
您通常将输入归一化,例如范围为 [-1, 1],以便神经网络在同一范围内进行预测。
如果您要预测各种比例的多个输出,则可以在缩放输入时保留上面使用的缩放因子,并使用它们将预测的输出缩放回与输入相同的比例。