xgboost 包及其背后的算法经常在数据科学竞赛中被提及。该方法称为极端梯度提升。我想了解它与典型的梯度提升有何不同，但我在网上找不到关于其理论基础的严格参考。xgboost 的正确参考是什么？
xgboost 的参考
机器算法验证
机器学习
参考
助推
2022-04-04 03:58:19
2个回答
现在有一篇 arXiv 文章XGBoost: A Scalable Tree Boosting System描述了该算法。在最初的问答时，尚未发布。
来源： 陈天琪的Quora回答
xgboost 和 gbm 都遵循梯度提升的原则。但是，建模细节存在差异。具体来说，xgboost 使用更正则化的模型形式化来控制过拟合，从而提供更好的性能。
我们更新了关于模型介绍的综合教程，您可能想看看。增强树简介
不过，xgboost 这个名字实际上指的是推动提升树算法的计算资源限制的工程目标。这就是很多人使用 xgboost 的原因。对于模型，可能更适合称为正则化梯度提升。
其它你可能感兴趣的问题