在我见过的许多应用中（例如 GAN）$\beta_1$设定为$0$， 所以$m_1=g_1$，即更新规则的分子与SGD中的相同。这留下了两个主要区别，都与第二时刻的 MA 有关：

1. $v_t:$ 二阶矩的原始 MA 用作梯度归一化器，将梯度除以梯度平方的移动平均值的平方根
2. $1-\beta_2$. 为了减少偏见，$\sqrt{v_t}$ 也被划分为 $\sqrt{1-\beta_2^t}$. 这遵循梯度平方期望的推导，$\mathbf{E}[\big(\frac{\partial E}{\partial w_t}\big)^2]$在文章的第 3 节。本质上$\mathbf{E}v_t = (1-\beta^t_2)\mathbf{E}[\big(\frac{\partial E}{\partial w_t}\big)^2] + \varepsilon,$因此表达。在培训初期，MA 接近$0$, 并除以 $\sqrt{1-\beta_2}$ 帮助远离它。

在概率和统计中，矩是指形式的非中心表达式 $\mathbf{E}X^k$，移动平均线估计，因此得名。归一化允许梯度调整，因此，更好的参数更新