在两个对象检测模型检查点之间进行选择

数据挖掘 深度学习 物体检测
2022-02-26 11:47:43

我有在不同模型检查点评估的对象检测模型的 mAP 分数。我想选择在测试数据集上具有最大召回率的模型,这意味着模型错过了最少数量的对象。然而,实现这一点的模型并没有最高的 mAP。

mAP 是评估对象检测模型的最常用指标。你如何解释这个指标?

为了获得最佳的真实世界性能,是否更好:

  1. 即使mAP不是最高的,也要根据最少的假阴性来选择模型检查点?
  2. 选择具有最高 mAP 的模型检查点,即使这意味着误报的数量更高?
1个回答

在验证集上选择损失最小的模型会更合适。在某些情况下,最低损失模型也表现出最高 mAP,但这绝对不是常态。

关于您的问题,如果您要根据类似准确性的指标选择模型,请考虑在您的具体示例中危害较小的方法。例如,考虑癌症分类的案例,预测健康患者患有癌症(假阳性)可能会导致一些挫败感,但这没什么大不了的。另一方面,预测癌症患者是否健康可能会付出生命的代价。