取决于第一层的激活函数，这不是一个真正的问题，许多函数，如$\tanh(x)$和$\sigma(x)$(sigmoid) 具有渐近的上限和下限，因此巨大的输入值淹没了相应神经元中的所有其他输入，但输出表现良好。

但是，输入层之前的转换可能适用于某些类型的数据。例如，您可能想要采取$\log(x)$输入值，使得初始权重网络与值的关系而不是它们的绝对大小一起工作。这对于诸如语音或音乐之类的音频数据以及在测量之前可能被衰减的许多其他信号测量可能是有用的。

如果您的数字实际上并不代表某种数量级而是任意数字序列，那么您当然应该使用可以处理序列的网络。