我一直在使用 YOLO v2 进行对象检测,并一直在尝试使用 mAP 来验证模型。
对于训练,我使用 0.25 的置信度阈值,但是我不确定是否在计算验证中的 mAP 之前应用此阈值来过滤掉预测?或者是否应该忽略阈值并评估所有提案?
我一直在使用 YOLO v2 进行对象检测,并一直在尝试使用 mAP 来验证模型。
对于训练,我使用 0.25 的置信度阈值,但是我不确定是否在计算验证中的 mAP 之前应用此阈值来过滤掉预测?或者是否应该忽略阈值并评估所有提案?
最后的解决方案是在 mAP 计算之前不应用阈值。在进一步研究之后,根据定义,mAP 是(粗略地说)使用所有可能的阈值计算的精确召回权衡的度量。通过首先应用阈值,您没有考虑通过选择小于或等于应用阈值的阈值来获得模型的更高召回率。
我会尝试两者,看看差异有多大。这将取决于您的图像的聚类程度以及您如何设置 mAP 分数的阈值。例如,与图像大小相比,您会忽略任何微小的边界框吗?
其次,我想说这也取决于您要验证的内容。如果您对模型感兴趣,在训练期间对其进行调整并进一步训练,我可能不会忽略任何建议。如果您正在验证实际部署的结果,您知道将使用 0.25 的阈值,那么我可能也会在没有阈值提案的情况下进行验证。这将提供一个验证指标,该指标可能最能代表在野外使用时的预期性能。