xgboost 如何与线性助推器一起工作?

数据挖掘 Python 线性回归 xgboost
2022-03-01 07:12:03

我知道如何在 XGBoost 中实现线性目标函数和线性提升。我的具体问题是:当它适合残差(或负梯度)的算法是在每一步使用一个特征(即单变量模型)还是所有特征(多变量模型)?

任何有关 XGBoost 中线性提升的文档的参考将不胜感激。

谢谢!

编辑:可以通过将“booster”参数设置为“gblinear”在 XGBoost 中实现线性提升。 有关线性升压的有用信息,请参见: http ://www.ncbi.nlm.nih.gov/pmc/articles/PMC3885826/。请注意,我不是在谈论目标函数(也可以是线性的),而是在谈论提升本身。

1个回答

请参阅作者关于 xgboost 的论文 - XGBoost: A Scalable Tree Boosting System

第 2 页的公式 3 提到,在每一步中,所有预测变量都用于贪婪地拟合下一个加法树。但是,由于还使用列子采样来防止过度拟合,因此并非所有特征实际上都可以用于每个步骤,请参见同一篇论文的第 2.3 节。

因此,您查询的具体答案是该算法使用所有特征来拟合残差。