使用（回归）树进行提升的基本思想是我们正在学习函数$f$（这里以树的形式$w_{q(x)}$）。权重$w$在$T$树的叶子代表预测$k$-th 树。 $q$是树结构（例如，只有一个根节点的树桩，或 12 层深的精细树的结构）； $q$独立于实际的提升过程，但它会影响我们集成的性能（这就是为什么我们使用诸如max_depth控制它的参数之类的原因）。通过定义的结构$q$我们的$m$维$x_i$映射到包含权重的叶子$w$. 一棵树内$q$,$w$本身可以带$T$ 不同的值，其中$T$是树中的叶子数。加起来所有$w_k$从我们的$K$树学习器为我们提供了最终估计$\hat{y}$.

如果它有帮助，我们可以继续将公式 1 扩展为：

很明显，为了得到我们的最终预测，我们将权重相加$w_k$由树结构决定$q_k$.

最后，请注意，当我们检查回归树时，基于我们试图最小化的目标函数，我们能够将回归树用于许多不同的任务。例如，使用逻辑损失很自然地适用于分类任务，而折扣累积增益导致排名应用程序。