机器算法验证 - 为什么使用 sqrt(6) 来计算 epsilon 以进行神经网络的随机初始化？ - 吾爱随笔录

为什么使用 sqrt(6) 来计算 epsilon 以进行神经网络的随机初始化？

机器算法验证机器学习神经网络随机生成

2022-03-25 03:48:40

在Andrew Ng 的 Coursera 机器学习课程的第 5 周讲义中，给出了以下公式来计算用于用随机值初始化 $\epsilon$ $\Theta$

在练习中，进一步澄清：

选择的一种有效策略是基于网络中的单元数量。的一个不错的选择是，其中和相邻的层中的单元数。 $\epsilon_{init}$ $\epsilon_{init}$ $\epsilon_{init} = \frac{\sqrt{6}}{\sqrt{L_{in} - L_{out}}}$ $L_{in} = s_l$ $L_{out} = s_{l+1}$ $\Theta^{(l)}$

为什么这里使用常数？为什么不，或？ $\sqrt 6$ $\sqrt 5$ $\sqrt 7$ $\sqrt {6.1}$

1个回答

我相信这是 Xavier归一化初始化（在几个深度学习框架中实现，例如 Keras、Cafe 等），来自Xavier Glorot 和 Yoshua Bengio的了解训练深度前馈神经网络的难度。

请参阅相关论文中的方程 12、15 和 16：它们旨在满足方程 12：

Var [W_{i}] = \frac{2}{n_{i} + n_{i + 1}}

$\text{Var}[W_i] = \frac{2}{n_i + n_{i+1}}$

中均匀 RV 的方差为（均值为零，pdf =所以方差 $[-\epsilon,\epsilon]$ $\epsilon^2/3$ $1/(2\epsilon)$ $=\int_{-\epsilon}^{\epsilon}x^2 \frac{1}{2\epsilon}dx$

其它你可能感兴趣的问题

上一篇如何标准化高度波动的时间序列？下一篇使用 bootstrap 获取回归模型中系数的 p 值