我最近才开始使用梯度增强树，如果我错了，请纠正我。我发现这个 wiki 页面https://en.wikipedia.org/wiki/Gradient_boosting信息丰富。查看算法和梯度树提升部分。

据我了解，梯度提升当然适用于大多数学习者。梯度提升将在迭代中（$m$) 训练一名新学习者$h_m$上一次迭代的集成残差。

合奏$F_m$更新为 $F_m \leftarrow F_{m-1} + \gamma_m h_m$

在哪里$F_{m-1}$是以前的合奏和$\gamma_m$是一个系数，使得，

$\gamma_m = \underset{\gamma}{\operatorname{arg\,min}} \sum_{i=1}^n L\left(y_i, F_{m-1}(x_i) + \gamma_m h_m(x_i)\right).$

特此将新学习器与旧集成按系数融合$\gamma_m$，这样新的集成解释了目标$y$最准确的（由损失函数度量定义$L$)

正如 wiki 页面上所解释的，弗里德曼在对决策树的特殊修改中提出，其中每个终端节点$j$*** 新学员$h_m$, 有自己独立的$\gamma_{jm}$价值。这种修改不能转移到大多数其他学习器，例如 gblinear。

*** （维基文章描述了每个$\gamma_{jm}$覆盖特征空间的不相交区域（R）。我更喜欢将其视为终端节点，恰好覆盖每个不相交的区域）

还要提一下，如果您选择严格的加性线性回归作为基础学习器，我认为该模型将无法拟合交互和非线性。在下面的示例中，xgboost 不适合$y=x_1 x_2$

library(xgboost)
X = replicate(2,rnorm(5000))
y = apply(X,1,prod)
test = sample(5000,2000)
Data = cbind(X=X)
xbm = xgboost(Data[-test,],label=y[-test],params=list(booster="gblinear"),nrounds=500)
ytest = predict(xbm,Data[test,])
plot(y[test],ytest)