它使用Xavier 初始化。如果不初始化，默认使用此方法进行初始化。如果你想知道如何执行，你可以在这里使用。在最后的第一个链接中，论文的链接也可用。

这个 Xavier 初始化（在 Glorot 的名字之后）是一个巧妙的技巧，在实践中效果很好。然而，随之而来的是整流线性单元 (ReLU)，这是一种在 0 附近尺度不变且不会在大输入值时饱和的非线性。这似乎解决了 sigmoid 函数的两个问题。