我正在为回归任务测试不同的模型。在使用 OLS、Ridge 和 Lasso 时,我使用解释变量的不同多项式次数。示例:对于两个变量 x 和 y,2 级将给出解释变量 x、x^2、xy、y、y^2。
但是,在使用决策树时,我不确定使用任何高于 1 的度数作为解释变量是否有意义。示例:在应用决策树回归器时测试 x^2、xy 和 y^2 是否有意义?
我问的原因是决策树回归器是非线性回归器。一方面,这可能是一个论点,包含高阶多项式没有意义,因为判定树已经可以处理非线性。
我正在为回归任务测试不同的模型。在使用 OLS、Ridge 和 Lasso 时,我使用解释变量的不同多项式次数。示例:对于两个变量 x 和 y,2 级将给出解释变量 x、x^2、xy、y、y^2。
但是,在使用决策树时,我不确定使用任何高于 1 的度数作为解释变量是否有意义。示例:在应用决策树回归器时测试 x^2、xy 和 y^2 是否有意义?
我问的原因是决策树回归器是非线性回归器。一方面,这可能是一个论点,包含高阶多项式没有意义,因为判定树已经可以处理非线性。
由于 CART(分类和回归树)是一种非参数算法,它们应该能够找到变量和非线性行为之间的交互作用。
尽管如此,构建多项式可以帮助它们获得更好的性能。