例如，从sebastian raschkas 帖子“机器学习常见问题解答”中获取图像：
我希望决策树的结果非常相似（如果不完全相同）：仅给定两个特征，它会找到最佳特征（以及该特征的值）来拆分类。然后，决策树对每个孩子做同样的事情，只考虑到达孩子的数据。当然，boosting 会再次考虑所有数据，但至少在给定的样本中，它会导致完全相同的决策边界。你能举一个例子，决策树在同一训练集上的决策边界与增强决策树桩不同吗？
我的直觉是，提升决策树桩不太可能过度拟合，因为基本分类器非常简单，但我无法准确指出原因。
您示例中（4）中的决策边界已经与决策树不同，因为决策树的右上角不会有橙色部分。
在步骤（1）之后，决策树将只对底部的橙色部分进行操作，因为顶部的蓝色部分已经完全分离。顶部的蓝色部分将保持不变。
然而，提升的树桩再次在完整数据集上运行（如您所述），这可能会导致不同的结果。
决策树桩是从根到叶子一步的决策树，而决策树在根和叶子之间可以有多个步骤。
这两个的简单示例是，决策树桩可能是投掷时硬币的哪一面朝上，而决策树将是如果硬币已经接触地面（状态是相互关联的）：
stump tree
Is the coin thrown Is it touching ground
| |
50 50 can turn? lays still?
| |
to right to left 0 0
| |
0 100 100 0
如果我的示例中的决策树在决策之前准确地知道例如转向可能性的一面，并且对于树桩总是在一步之后进行，那么提升将无济于事。
因此，如果条件随时间随机变化，则树桩可以帮助找到该示例中的统计模式，但不能帮助找到影响系统的潜在外部事实。
模型的表示能力不同。考虑许多特征的异或的情况。假设所有特征都是二元的，只是从 B(0.5) 随机采样。
决策树将能够以指数大小表示该概念。
任何单独的功能都是无用的（或误导性的）。决策树桩仅限于单个特征。
即使决策树桩会选择正确的特征，也不能使用特征的线性权重来表示 XOR 。简单来说，XOR 不是线性的原因是没有权重 w 使得 a xor b = w*a + (1-w)*b。