构建随机森林模型的一个关键组成部分是特征子采样,即构建每个单独的树,只使用由树随机选择的预测变量的百分比。文献经常提出一个“经验法则”,如果有预测器,我们使用分类模型中每棵树的预测器或回归模型中每棵树的预测因子(例如,参见 Hastie 和 Tibshirani 的Elements of Statistical Learning,第 15.3 节)。
我的问题是:如果我们构建一个包含特征子采样的梯度提升模型(使用 XGBoost 之类的包),我们是否仍应遵循以下“经验法则”?或者? 换句话说,在构建树时“学习”的模型中,将每棵树的预测变量数量限制在与随机森林相同的程度是否仍然合适?