Boosting 是一种集成技术，其中预测器一个接一个地依次集成（youtube 教程。术语梯度增强的梯度意味着它们使用称为梯度下降的优化技术进行集成（Boosting Algorithms as Gradient Descent。

鉴于此，您可以提升您想要的任何类型的模型（据我所知）。此外，在scikit learn library中，gradient boosting 位于 ensemble 文件夹下。您可以提升任何类型的模型（线性、支持向量机），只要决策树通过这种集成取得通常很好的结果。与您可以使用任何类型的估算器进行装袋的方式相同，但是如果您使用决策树并添加更多技术，则可以将其称为随机森林。

来自 scikit learn 文档：GB 以前向阶段的方式构建了一个加法模型；它允许优化任意可微损失函数。在每个阶段，回归树都适合给定损失函数的负梯度。

但是梯度提升机 (GBM) 和 GBDT 是一回事吗？他们只是不同的名字吗？

梯度提升机器是一种集成，梯度提升决策树是使用树作为估计器的特殊情况。

除了 GBM/GBDT 和 XGBoost，还有其他模型属于 Gradient Boosting 的范畴吗？

您可以使用任何您喜欢的模型，但决策树在实验上是最好的。

“Boosting 已被证明可以提高决策树等不稳定学习器的预测性能，但不能提高支持向量机 (SVM) 等稳定学习器的预测性能。” 启铭庭连珠，施普林格