在“top-N”推荐系统的情况下，构建一个“无偏”测试数据集是有帮助的（例如，通过从给定用户的保留数据集中将一千个随机未观看/未分级的电影添加到已观看电影列表中)，然后使用模型对生成的测试数据集进行评分。一旦为一群用户完成了它，就可以计算出“precision vs recall”曲线和“recall-at-N vs N”曲线（以及灵敏度/特异性和提升曲线），可用于判断质量给定的模型。这篇论文， Cremonesi 等人在 Top-N 推荐任务上的推荐算法的性能，有更多细节。

如果给定的模型包括时间动态，那么训练和测试之间的分割应该沿着时间维度进行（不是完全随机的）

大多数情况下，召回不会产生可以绝对评估的结果。您应该使用召回值来评估一种算法相对于另一种算法。

如果算法 A 的召回值为 0.2（如您的示例），则很难解释该值的含义。但是，如果另一个算法 B 的召回值为 0.15（给定相同的实验设置），那么您可以得出结论，算法 A 在召回方面比算法 B 具有更好的性能。

平均绝对误差（MAE）不是这样的，它可以自己解释。

处理这种情况的另一种方法是不使用所有地面实况数据。为了评估模型的性能，您还可以计算最有可能的电影的概率，例如任意 6。然后，如果用户观看了 50 部电影，您将选择前 6 部电影作为您的基本事实。请记住，您正在查看的是结果的可解释性，并且基于概率设置阈值可能是获得更有意义的召回和精度值的一种方法。