优化问题的业务相关指标

数据挖掘 分类 公制 表现
2022-02-27 14:26:03

我们手头有一个优化问题,如下所示。

假设我们可以提供 10 种不同的治疗方法,它们都对我们同样有益,但人们接受这些治疗的倾向不同。

在我们建立模型之前,规则是随机选择一种治疗方法,提供给一个人,如果这个人接受它 - 是的,如果不是 - 就这样吧。

基于这些历史数据,我们创建了一个二元分类器,可以预测一个人同意每种治疗类型的倾向,并且这个想法是为一个人提供一种治疗,该治疗具有来自模型的最大倾向得分。

构建的模型显示了出色的 GINI 和 AUC 数字,但我们努力的是一个更与业务相关的指标,我们可以使用它来评估模型的性能。

我敢肯定你们中的一些人以前也遇到过这种情况。您使用了哪些指标?

谢谢!

1个回答

在历史数据上,您可以尝试确定如果您之前添加模型会发生什么。对于您提出某种产品的每个客户,计算该产品的平均收益(倾向*成本),并与最佳产品的平均收益进行比较。假设每个产品的成本为 100 美元。

去年您将 product1 提供给 client1,但他拒绝了。使用您的模型,您知道:他只有 20% 的机会购买产品 1,他有 25% 的机会购买产品 2。平均而言,您错过了 (25%-20%)*100 = 5 美元。您可以计算所有客户的类似指标,而不是汇总总数。如果你使用你的模型,这会让你估计去年你会赚多少钱。很少有比金钱更多的与业务相关的指标。