决策树桩是一棵只有一次分裂的决策树。它也可以写成分段函数。
例如,假设是一个向量,并且是的第一个分量,在回归设置中,一些决策树桩可以是
但它是线性模型吗?哪里可以写成?这个问题可能听起来很奇怪,因为正如答案和评论中提到的,如果我们绘制分段函数,它不是一条线。请参阅下一节了解我问这个问题的原因。
编辑:
- 我问这个问题的原因是逻辑回归是一个(广义)线性模型,决策边界是一条线,也用于决策树桩。注意,我们也有这个问题:为什么逻辑回归是一个线性模型?. 另一方面,决策树桩似乎不是线性模型。
- 我问这个的另一个原因是因为这个问题: 在boosting中,如果基础学习器是线性模型,那么最终模型是否只是一个简单的线性模型? 其中,如果我们使用线性模型作为基础学习器,我们得到的只是线性回归。但是如果我们选择基学习器作为决策树桩,我们会得到非常有趣的模型。
这是一个使用 2 个特征和 1 个连续响应的回归决策树桩提升示例。