在考虑学习率时，学习速度会变慢有 3 个原因：

1. 已达到最佳值（或至少是局部最小值）
2. 学习率太大，我们超出了我们的目标
3. 我们处于一个梯度非常小的平台，学习率太小，无法让我们快速到达那里。

现在一个问题是确定你处于哪种情况。降低学习率会帮助还是使问题变得更糟？如果我们需要降低学习率，我们需要做多快？
对于 FractalNet，我们看到 50-200 时期的性能很差，但 1-50 时期的表现相当不错。毫无疑问，以线性方式降低学习率会降低前 50 个 epoch 的性能。另一方面，该算法可能在 50-200 个 epoch 中发现了一个平台，因此不能确定较低的学习率是否会提高这些 epoch 的性能。那么我们该怎么办？我们是否会线性降低学习率，如果是这样的话，速度有多快？有多种方法可以解决这个问题。一个有趣的例子是基于动量的方法，我们试图过滤掉重复的超调。问题是完美的解决方案因问题而异，需要进行相当多的测试才能确定哪种方法效果最好。