修剪和截断
据我了解
截断:在树还在生长时停止它,这样它就不会以包含非常低数据点的叶子结束。一种方法是设置在每个叶子上使用的最小训练输入数。
修剪是机器学习和搜索算法中的一种技术,它通过删除决策树中对实例分类提供很少能力的部分来减小决策树的大小。
有人可以解释这些技术在 XGBoost/LightGBM 等 GBDT 框架中的详细实现吗?
实施这些技术时使用了哪些参数?
据我了解
截断:在树还在生长时停止它,这样它就不会以包含非常低数据点的叶子结束。一种方法是设置在每个叶子上使用的最小训练输入数。
修剪是机器学习和搜索算法中的一种技术,它通过删除决策树中对实例分类提供很少能力的部分来减小决策树的大小。
有人可以解释这些技术在 XGBoost/LightGBM 等 GBDT 框架中的详细实现吗?
实施这些技术时使用了哪些参数?
你的理解是正确的。在文档xgboost
中有很好的解释。
阅读原始论文总是一个好主意。这是LGBM的一个,这是XGBoost的一个。
至于甜点,这里是catboost
纸。
到目前为止,Boosting 是硬机器学习中最重要的概念之一。心知肚明是件好事。