LightGBM 中的 L2 正则化有什么作用?

机器算法验证 回归 正则化 助推
2022-03-31 15:14:38

我使用 LightGBM 进行回归任务,并且我计划使用 L2 正则化来避免过度拟合。我很清楚 L2 正则化在线性回归中的作用,但我找不到任何关于它在 LightGBM 中使用的信息。LightGBM 或其他 Gradient Boosting 算法中的 L2 正则化究竟是做什么的?

1个回答

它的作用基本相同。它会根据您对 LightGBM L2 正则化参数“lambda_l2”的选择来惩罚训练时的权重,旨在避免任何权重飙升到可能导致过度拟合的水平,从而抑制模型的方差。正则化项也只是所有样本的 Frobenius 范数之和乘以正则化参数 lambda 并除以样本数。您将其添加到您使用的机器学习算法的成本函数中,就像线性回归一样。如果您想获得专门针对 LightGBM 的数学图景,您可以参考在 2017 年神经信息处理系统会议 (NIPS) 上发表的 LightGBM 论文,了解 Microsoft 团队为提升算法设计的成本函数:

https://papers.nips.cc/paper/6907-lightgbm-a-highly-efficient-gradient-boosting-decision-tree.pdf

想象一下或手动表达,您将正则化项添加到成本函数中,就像在线性回归的成本函数上一样。