如何在 xgboost 中继续培训

数据挖掘 机器学习 Python xgboost
2022-02-26 11:21:04

我阅读了这篇论文,但没有发现任何关于如何实施增量学习的内容。

有人可以分享一些基本或深入的知识吗?不是编码方式。

我知道如何编写代码片段来进行增量训练。

当新数据进来时,如果我使用 XGBRegressor,如何增量训练?保留旧树并用新树训练新数据?

我发现没有详细讨论这个

1个回答

在该fit方法中,xgb_model可以指定参数以继续训练旧模型。

https://xgboost.readthedocs.io/en/latest/python/python_api.html#xgboost.XGBRegressor.fit

编辑:是的,据我了解,这种方法保留了老树。新树将适合您传递的任何数据的残差:您可以只继续使用新数据,这些数据将首先通过现有树运行,并使其残差适合新树;或继续使用所有数据,这将执行上述操作,但在拆分时也使用旧数据(可能更好,这样模型不会失去对旧数据的拟合,但也许您的用例非常关心新数据更多的?)。在某些情况下,从头开始重新训练可能会更好(如果现有的树在新数据上表现不佳)。