梯度提升分类中的残差

数据挖掘 分类 xgboost gbm
2022-02-07 09:33:31

我知道在梯度增强回归问题的情况下,我们会迭代地对残差进行建模。这种直觉在kaggle上得到了很好的解释

有人可以解释在分类场景中建模的残差是什么吗?

1个回答

这与逻辑回归类似。我们使用一个无界值,我们可以通过使用 sigmoid 函数将其映射到概率。只有在梯度提升树模型结束时,我们才将其映射到概率。用于决定终端节点权重的损失函数是从正常的 sigmoid 损失改编而来的,因此不必直接映射到概率。我目前找不到它,但它应该很容易推导出来。

编辑:我发现我从前几天读到的帖子,它在 stats stackexchange 结束:https ://stats.stackexchange.com/questions/204154/classification-with-gradient-boosting-how-to-keep-the -prediction-in-0-1