我认为他们使用 Xavier/Glorot 的初始化方法。您可以从原始论文中阅读：

我们将偏差初始化为 0，权重$W_{ij}$在每一层使用以下常用的启发式方法：

$W_{ij} \sim U [ -\frac{1}{\sqrt{n}}, \frac{1}{\sqrt{n}}]$

在哪里$U[−a, a]$是区间内的均匀分布$(−a, a)$和$n$是前一层的大小（的列数$W$)

有些人使用它，因为一些报告说这种初始化方法会导致更好的结果