随机森林和极端随机树的分裂方式有何不同？

机器算法验证 分类 Python 随机森林 scikit-学习
2022-03-20 11:43:50

对于随机森林，我们通过基尼杂质或熵来分割节点以获得一组特征。sklearn 中的 RandomForestClassifier，我们可以选择使用 Gini 或 Entropy 准则进行分割。但是，我读到的关于 Extra-Trees Classifier 的内容，为拆分选择了一个随机值（我想这与 Gini 或 Entropy 无关）。sklearn 的 ExtraTreesClassifier 可以选择 Gini 或 Entropy 进行拆分。我在这里有点困惑。

1个回答

随机森林的一次迭代：

  1. 选择m特征随机作为候选分割特征集
  2. 在这些特征中的每一个中，找到“最佳”切点，其中“最佳”由基尼/熵/任何度量定义
  3. 现在你有m特征与其最佳切点配对。选择作为您的分割特征并切点在基尼/熵/任何度量方面具有“最佳”性能的对

极端随机树的一次迭代：

  1. 选择m特征随机作为候选分割特征集

  2. 在这些功能中的每一个中Fi， 和i∈1,...,m从区间中均匀地绘制一个随机切点(min(Fi),max(Fi)). 使用此切点相对于 Gini / Entropy / 任何度量来评估此功能的性能

  3. 现在你有m特征与其随机选择的切点配对。选择作为您的分割特征并切点在基尼/熵/任何度量方面具有“最佳”性能的对
其它你可能感兴趣的问题
上一篇如果输入数据有很多负值，是否最好避免使用 ReLu 作为激活函数？ 下一篇逻辑回归中罕见事件的后果是什么？