更好的混淆矩阵更高的 LogLoss ?有没有可能>

数据挖掘 机器学习 多类分类 损失函数
2022-02-27 09:48:03

我在多项分类问题中尝试了 2 个不同版本的 gbm。第二个模型产生更好的混淆矩阵,但对数损失值更差(在测试样本处)。这怎么可能。

进一步是两个模型的结果。

在此处输入图像描述

我认为这可能是因为 A 类的过采样程度更高,并且该类的小幅下降可能导致 hte logloss 的恶化?

有任何想法吗?谢谢

1个回答

对数损失是模型对其预测的置信度的度量。较低的对数损失意味着较高的置信度,反之亦然。更好的混淆矩阵和更差的对数损失意味着错误分类很少,但概率得分更高。由于准确度是使用固定概率阈值计算的,因此您可能不会直接观察到这一点。基于改变决策阈值绘制两个模型的 ROC 曲线。这让您了解哪种模型更好。