我想知道 GBM、XGBoost、CatBoost 和 LightGBM 等算法是否会在决策树中的一个节点处执行两次以上的拆分？可以将一个节点拆分为 3 个或更多分支，而不仅仅是二进制拆分吗？在决定如何拆分节点时可以使用多个特征吗？可以在拆分后代节点时重新使用功能吗？
Gradient Boosting 是否在 n > 2 时执行 n 元分割？
数据挖掘
xgboost
gbm
lightgbm
自然梯度提升
猫促进
2022-02-27 03:29:23
1个回答
梯度提升可以应用于任何基本模型，因此使用 Quinlan 家族决策树（允许对分类特征进行此类更高数量的分割）来实现这一点应该可以实现。但是，我所知道的所有梯度提升树的实现（当然还有 XGBoost、CatBoost、LightGBM）都使用 CART 作为他们的树模型，所以除了二叉树之外你什么也得不到。（这些 GBM 确实对 CART 进行了一些修改，例如使用直方图分箱来减少拆分搜索，但没有像分类的 n 元拆分那样剧烈。）
其它你可能感兴趣的问题