为什么只能在集成方法中使用额外树?

数据挖掘 scikit-学习 决策树 集成建模 集成学习
2022-02-15 11:49:44

我正在阅读极端随机树的 scikit-learn 文档,我发现了这个警告:

警告:额外树只能在集成方法中使用。

这是为什么?

1个回答

在随机森林树中,每次拆分时都可以考虑随机的特征子集。Extra-trees 通过在每次拆分时使用随机阈值来更进一步。这个想法是,一个森林(树的集合)具有大量的树,这些树学习了彼此不同的东西(由于每次分割时特征和阈值的随机性),这将导致比任何单一的更好的预测树。

如果要对单个树中的每个拆分(额外树所做的)使用随机阈值,那么最终可能会得到一棵预测不佳的次优树。