xgboost(树)中的正则化是什么意思

机器算法验证 r 正则化 助推
2022-03-20 11:30:33

在 xgboost ( xgbtree) 中,gamma是用于控制正则化的调整参数。我了解正则化在xgblinear逻辑回归中的含义,但是在基于树的方法的背景下,我不确定正则化是如何工作的。

有人可以解释正则化是如何工作的xgbtree吗?

1个回答

在基于树的方法中,正则化通常被理解为定义一个最小增益,以便发生另一个分裂:

在树的叶节点上进行进一步分区所需的最小损失减少。gamma越大,算法就越保守。

来源:https ://xgboost.readthedocs.io/en/latest/parameter.html

这个最小增益通常可以设置为之间的任何值。(0,)

这是一篇关于如何在 XGBoost 上调整正则化的不错的文章。