我正在构建一个机器学习模型来预测客户的购买倾向（客户购买产品的可能性）。目的是根据客户定位的概率分数对客户进行排名。二元结果的性能不是优先事项。
我正在寻求专家意见，我们应该在这种情况下使用什么指标。（auroc，logloss，f1 ...等？）。我在网上看到了一些相互矛盾的意见。
如果我的数据集在这种情况下高度不平衡，我应该使用什么指标？（买与不买：1:99）。
非常感谢详细的解释！
机器学习模型预测客户购买概率的最佳指标是什么
机器算法验证
机器学习
预测模型
2022-04-05 00:10:56
1个回答
- 当然，您不应该使用诸如准确率之类的常见分类指标。他们在使概率正确方面做得并不好。
- 如果您想精确估计概率，则需要适当的评分规则（请参阅标记为的其他问题计分规则)，例如 Brier 分数（平方误差）或对数损失（又名交叉熵损失）。最近， Hui 和 Belkin（2020 年）发表了一篇有趣的论文，表明与“默认”对数损失相比，使用平方误差作为分类器的损失函数可能会产生同样好的结果。
- 另一方面，您说您想使用概率对客户进行排名，这是一个不同的问题。对于排名，您不太关心概率是否正确，只要它们的排序正确。有专门的指标，如平均百分比排名、平均倒数、最高准确，精密@等。假设这是一个排名问题，您可能还应该考虑使用专门的排名算法。
选择取决于您希望如何准确地使用有关数据的结果和详细信息。
其它你可能感兴趣的问题