据我所知，您给出的两个公式几乎是标准初始化。前段时间我做了一篇文献综述，请查看我的链接答案。

最近，为了这个唯一目的，引入了批量标准化。请在这里找到论文

论文“All you need is a good init”是一篇关于深度学习中的 init 的相对较新的好文章。我喜欢它的地方在于：

1. 它对 init 方法进行了简短而有效的文献调查，包括参考资料。
2. 它在 cifar10 上没有太多花里胡哨，取得了非常好的效果。

权重初始化取决于正在使用的激活函数。Xavier 和 Bengio (2010) 基于激活是线性的假设推导出了一种初始化权重的方法。他们的方法得出以下公式：

$$\begin{align} W \sim U \left[ -\frac{\sqrt 6}{\sqrt {n_{i} + n_{i+1}}}, \frac{\sqrt 6}{\sqrt {n_{i} + n_{i+1}}} \right] \end{align}$$

对于使用均匀分布初始化的权重，其中$n_{i}$代表$\text{fan in}$和 $n_{i+1}$代表$\text{fan out}$.

He, Kaiming, et al.(2015) 使用了一种推导方法，考虑使用 ReLUs 作为激活函数，得到一个权重初始化公式：

$$\begin{align} W_l \sim \mathcal N \left({\Large 0}, \sqrt{\frac{2}{n_l}} \right). \end{align}$$

对于使用高斯分布初始化的权重，其标准差 (std) 为$\sqrt{\frac{2}{n_l}}$

在此处阅读更全面的系列文章，涵盖权重初始化背后的数学。