学习率会影响每次更新时模型权重的变化量。所以问题是什么是好的学习率？这取决于您的问题空间、数据集和网络参数（即激活函数、复杂性、正则化、优化器等）。

学习率太高，您的模型可能无法达到收敛，因为权重更新为“超出”最优值。

学习率太低，您的模型也可能由于花费太多的时期而无法达到收敛，因为对权重的更新很小。

最好使用默认值 ~0.01 进行试验，并根据验证损失和训练损失随时期的变化进行相应调整。还可以尝试不同的优化器（Adam、RMSprop 等），因为它们会随着时间的推移调整你的学习率。另一种方法是实现一个学习率调度程序，它会随着时间的推移衰减你的学习率——这个想法是作为一个接近全局最小值的模型，你希望通过更小的权重更新来微调它的下降。