评估推荐的质量和准确性

数据挖掘 推荐系统
2021-09-16 21:50:54

我正在开发一个推荐系统,它应该为我的客户提供他们应该采取哪些行动来达到某些目标。
过程的基本机制是物理的——行动和结果都可以物理测量。

我目前的算法基于一个预测模型,可以预测给定动作的预期结果。可以对这个结果进行评分,因此对许多结果进行评分*可以导致找到最佳行动——将被推荐的行动。

*评分基于结果和目标之间的距离。

我的预测模型性能很好(低 MAE)。它的性能估计是基于预测已经采取的(历史)行动并将其预测与实际(历史)结果进行比较。

当我尝试估计推荐质量时,我的问题就出现了,因为许多推荐是没有采取的行动,我几乎没有办法评估它们的质量。

我尝试使用实际结果作为我的推荐系统的“目标”,并将推荐的操作与实际采取的操作进行比较。我不确定这是正确的方法,任何建议都将不胜感激。

2个回答

解开这种推荐系统所涉及的因果关系很复杂,但很容易处理。

鉴于您拥有良好的实验方法,并且您的评估数字是根据未用于训练的数字(以及其他问题)生成的,听起来您拥有使用过去数据可以获得(或在附近)的最佳估计。

下一步将是形成一个新的实验,在这个实验中,您(理想情况下)随机为一组提供建议,而不为另一组提供建议,否则它们是相同的。然后,您测量两组的结果并进行统计比较以确定效果的存在及其大小。

如果您在一个组织中,则提出该研究是您的下一步,或者如果您有机构自己进行,则执行该研究。

一种通用的方法是强化学习。它通过随机选择它们来解决评估未探索动作的问题,探索率可以是一个参数。

另一种通用方法是开发一个良好的环境模型。然后可以通过模拟评估未探索动作的结果。