训练神经网络时可能出现的问题之一被称为梯度爆炸问题。初始化不良的网络可能会导致训练期间梯度范数的大幅增加。这些较大的值基本上会将权重超出计算机的数字精度，从而产生 NaN 值。

这篇文章提供了关于梯度爆炸问题以及如何解决它的更多信息。一篇相关的文章讨论了不同的初始化策略。