在哪些数据上评估对象检测模型?(类似或现实生活中的数据?)

人工智能 深度学习 数据集 物体检测
2021-11-09 11:23:08

我正在训练一个对象检测模型 (SSD300) 来检测和分类热图像中的身体姿势。

即使我有超过 2k 种不同的姿势,但背景变化不大(我只有 5 种不同的观点)。

我在这些图像上训练了我的模型(70% 用于训练,30% 用于验证)。

现在,我想在无偏数据集上评估模型。

我应该为此目的保留数据集的图像还是应该使用现实生活中的数据集?

(一个好的解决方案是拥有一个现实生活中的训练集,但我没有)

我尝试了这两种方法,但正如预期的那样,在类似的图片上评估时,mAP=0.9,在完全不同的图片上评估时,mAP=0.5。

额外问题:当我想向客户展示结果时,mAP 是一个相关的指标吗?(例如,如果我告诉他“我的模型的 mAP=0.7”,客户不明白)

精确召回 ? (但我必须选择一个姿势分类阈值......)

1个回答

如果你想在真实的热图像数据集上进行评估,你可以使用这个。

热图像数据集

当我想向客户显示结果时,mAP 是一个相关的指标吗?(例如,如果我告诉他“我的模型的 mAP=0.7”,客户不明白)

平均平均精度是相关指标,但它更具技术性。您可以从预测中的 False Positives 和 False Negatives 开始解释。反过来,它会导致精确度和召回率。这主要取决于您的用例,因为它们之间总会有权衡。