我有在不同模型检查点评估的对象检测模型的 mAP 分数。我想选择在测试数据集上具有最大召回率的模型,这意味着模型错过了最少数量的对象。然而,实现这一点的模型并没有最高的 mAP。
mAP 是评估对象检测模型的最常用指标。你如何解释这个指标?
为了获得最佳的真实世界性能,是否更好:
- 即使mAP不是最高的,也要根据最少的假阴性来选择模型检查点?
- 选择具有最高 mAP 的模型检查点,即使这意味着误报的数量更高?
我有在不同模型检查点评估的对象检测模型的 mAP 分数。我想选择在测试数据集上具有最大召回率的模型,这意味着模型错过了最少数量的对象。然而,实现这一点的模型并没有最高的 mAP。
mAP 是评估对象检测模型的最常用指标。你如何解释这个指标?
为了获得最佳的真实世界性能,是否更好:
在验证集上选择损失最小的模型会更合适。在某些情况下,最低损失模型也表现出最高 mAP,但这绝对不是常态。
关于您的问题,如果您要根据类似准确性的指标选择模型,请考虑在您的具体示例中危害较小的方法。例如,考虑癌症分类的案例,预测健康患者患有癌症(假阳性)可能会导致一些挫败感,但这没什么大不了的。另一方面,预测癌症患者是否健康可能会付出生命的代价。