每次迭代都应该改善训练损失。这种改进与学习率相乘以执行较小的更新。

较小的更新允许过拟合较慢的数据，但需要更多的迭代来训练。

例如，以 0.1 的学习率进行 5 次迭代大约需要以 0.001 的学习率进行 5000 次迭代，这对于大型数据集来说可能是令人讨厌的。

通常，我们使用 0.05 或更低的学习率进行训练，而使用 0.10 或更大的学习率来修改超参数......

梯度提升算法是集成算法，其中许多分类器投票给更大的分类器。在梯度提升的情况下，在前一个残差上训练的树是投票的弱分类器。他们不进行纯粹的民主投票，因为他们的选票是加权的。学习率是一个弱分类器和下一个分类器之间的投票权重的比率。