官方文档指出"The learning rate shrinks the contribution of each regressor by learning_rate.". 因此，基本上我们需要了解三个概念：

1.弱分类器

一个错误率只比随机猜测好一点的模型，也就是说，50% 的准确率。

2. 提升

该技术的目的是应用$K$不同时间（顺序）模型修改数据版本。所以，假设在每次迭代$i \in \{1,2,..., K\}$你建立了一个新的树模型$T_{i}$

$$\begin{align} T_{i+1}(x) = T_{i}(x) + \alpha M(x), \end{align}$$

在哪里

$$M(x) = \sum_{j=1}^{J} t(x, \theta_{j})$$ 是具有不同参数的树的总和$\theta_{j}$和$\alpha$是介于 0 和 1 之间的学习率。

3. 学习率

此参数控制我将使用新模型对现有模型贡献多少。通常在迭代次数之间进行权衡$K$和价值$\alpha$. 换句话说，当取较小的 alpha 值时 ($\alpha \approx 0$) 你应该考虑更多$K$迭代，以便您的基础模型（弱分类器）继续改进。根据 Jerome Friedman 的说法，建议设置$\alpha$到更小的值（$\alpha < .1$）。