XGBoost 如何使用 softmax 作为目标函数?

数据挖掘 xgboost 多类分类
2022-02-17 02:39:42

我非常习惯将对数损失、RMSE、交叉熵等函数视为目标函数,很容易想象为什么最小化这些函数会给我们最好的模型。难以想象的是 XGBoost 如何使用 softmax(一种用于对 logits 进行归一化的函数)作为成本函数。正如此处的文档中所述。

如何最小化 softmax 函数?

1个回答

被最小化的不是softmax,而是基于softmax的crossentropy loss function。交叉熵是根据 softmax 输出计算的,这就是为什么它们是 ML 中的标准对。基于树的分类器以最小化数据集熵的方式找到“切割”或变量空间的一部分。

如果你想进一步探索 softmax 和交叉熵之间的关系,你可以从这里提供的很好的解释开始。如果你想更深入地挖掘,你可以在这里找到一个非常详细和技术性的解释。