假设我有一个平滑的功能. 我有一个训练集当然,我不知道虽然我可以评价我想去哪里。
回归树是否能够找到函数的平滑模型(因此输入的微小变化只会给输出带来微小的变化)?
从我在Lecture 10: Regression Trees中读到的内容,在我看来,回归树基本上将函数值放入 bin 中:
对于经典回归树,每个单元格中的模型只是 Y 的常数估计。
当他们写“经典”时,我猜有一个变体,细胞会做一些更有趣的事情?
假设我有一个平滑的功能. 我有一个训练集当然,我不知道虽然我可以评价我想去哪里。
回归树是否能够找到函数的平滑模型(因此输入的微小变化只会给输出带来微小的变化)?
从我在Lecture 10: Regression Trees中读到的内容,在我看来,回归树基本上将函数值放入 bin 中:
对于经典回归树,每个单元格中的模型只是 Y 的常数估计。
当他们写“经典”时,我猜有一个变体,细胞会做一些更有趣的事情?
回归树,尤其是梯度提升(本质上是许多树),往往在连续预测方面做得很好,通常优于线性回归等真正连续的模型。当存在可变交互并且当您拥有足够大的数据集(超过 10,000 条记录)以降低过度拟合的可能性时,尤其如此。如果您的主要目标只是预测能力,那么模型是 100% 连续还是伪连续应该无关紧要。如果使您的回归树更加连续会增强样本预测能力,那么您可以简单地增加树深度或添加更多树。
在经典回归树中,叶子中有一个值,但在叶子中可以有一个线性回归模型,请检查这张票。
您还可以使用树的集合(随机森林或梯度提升机)来获得连续的输出值。