如果学习率大于等于$1$罗宾斯-门罗条件

在哪里$a_t$是迭代时的学习率$t$, 不成立（假设一个数大于$1$squared 变成一个更大的数），因此随机梯度下降通常不能保证收敛到最小值 [ 1 ]（尽管条件$\ref{1}$是一个总和$t=0$到$t=\infty$，但是，当然，我们只迭代有限次数的迭代）。此外，请注意，如果学习率大于$1$, 本质上你给损失函数的梯度赋予了比参数的当前值更多的权重（你赋予了权重$1$到参数）。

这可能是学习率通常在范围内的主要原因$(0, 1)$并且有一些方法可以降低学习率，这可能是有益的（并且有几种解释为什么会出现这种情况 [ 2 ]）。