我有一个在生产系统上运行的模型。该模型预测一些潜在客户是否会成为销售。您将如何开发检查模型的成功和准确性?有一个时间组成部分,因为潜在客户需要几个月的时间才能成为销售。
如何衡量模型在生产中的成功
数据挖掘
机器学习
分类
预言
2022-03-03 11:29:27
1个回答
短期目标和更多过期样本。
与业务和您的数据合作,制定相关的短期目标。例如,如果销售在首次接触后需要 6 个月,并且销售是建模目标,则将首次接触设置为短期目标进行衡量。将漏斗中的其他步骤设置为短期目标。然后用这些运行你的分析。类似于预测贷款的冲销。如果一个模型用于提供贷款并且贷款是 2 年,我们不会从模型部署等待 2 年才能获得第一天的测量结果。那可能是很多不良贷款。通常冲销的人中,可能有一半会在 12 个月内冲销。然后在 20 个月内收取 75% 的费用。您需要检查什么是相关的,以及这些短期目标对建模目标的预测程度。使用您的训练数据和 SME。
此外,如果您的过程需要时间,那么您没有在建模中使用最新数据。例如,如果贷款有一个 24 个月的建模目标,则该模型不可能使用最近的 24 个月,因为它没有成熟的目标(假设这不是幸存者模型 - 那么本段不成立)。但是现在可以随着每个月的进展对该模型进行评估。该模型没有对这些数据进行评分,但可以评估该模型。也许新模型不会提供一些贷款,但这比等待 2 年确定模型不好要好。