有几种方法可以回答这个问题。首先，关于为什么使用某种初始化更好，有几个数学论据。例如，考虑阅读Xavier 等人的著作。. 此外，有几个数值实验表明了初始化的重要性。

神经网络中 Xavier 初始化的动机是初始化网络的权重，以便神经元激活函数不会从饱和或死区开始。换句话说，我们希望用既不“太小”也不“太大”的随机值来初始化权重。因此目的是将每个神经元的输入数据的方差固定为 1，因为这减少了卡在饱和区域的方差，因为数据通常是归一化的，这相当于将每个权重的方差固定为$1/n$，其中 n 是给定神经元的输入权重的数量。