在随机森林中的树中的每个节点处随机选择变量

数据挖掘 机器学习 分类 随机森林 决策树
2022-02-05 09:47:13

在随机森林方法中,对于每棵树,我们随机选择一组固定大小的变量(特征)。但是,一旦为特定树冻结了该集合,该树的行为是否像常规决策树算法一样?

我假设随机森林只不过是生成一堆经典的“决策树”并为最终分类投票。但是在许多地方,我读过的任何描述似乎都表明了这一点;对于森林中的给定决策树,即使在每个节点上,我们也会随机选择变量。是这样吗?

这是否意味着在树中的每个节点处,我们从为该树固定的变量集中随机选择 m 个变量?还是来自训练数据集的全局变量集?然后从选定的一组变量中,我们启发式地选择一个变量(例如,使信息增益最大化的变量)——这是一个正确的说法吗?

1个回答

为了在随机森林中训练一棵树,每次拆分时,从全局变量集中随机选择 m 个变量,并选择信息增益最大的变量进行拆分。资料来源:https ://www.stat.berkeley.edu/~breiman/randomforest2001.pdf (原始随机森林论文)。