极端随机森林与随机森林有何不同?

机器算法验证 r 机器学习 算法 随机森林
2022-02-01 16:54:24

ER 是否更有效的实现(类似于Extreme Gradient Boosting梯度提升)——从实际角度来看,差异是否重要?有实现它们的 R 包。它是一种新算法,它不仅在效率方面还是在其他一些领域都克服了“通用”实现(R 中的 RandomForest 包)?

极端随机森林http://link.springer.com/article/10.1007%2Fs10994-006-6226-1

1个回答

这很简单——RF 优化树上的分割(即选择那些在决策方面提供最佳信息增益的分割),而 ERF 使它们随机生成。现在,

  • 优化成本(不多,但仍然如此),因此 ERF 通常更快。
  • 优化可能有助于集成或整体过拟合中树的相关性,因此 ERF 可能更稳健,尤其是在信号较弱的情况下。

在这个方向上更进一步,您可以通过均衡每个树级别的分割来获得额外的速度,这样将树转换为蕨类植物,这也很有趣;我有这样一个个体的R 实现