呈现比随机机会更糟糕的结果的论文

数据挖掘 物体检测
2022-03-11 19:38:19

是我还是有越来越多的对象检测论文描述了性能比偶然性更差的模型。这是一个示例(摘录,因此不命名名称):-

在此处输入图像描述

AP代表平均精度。没有提到召回。

论文接着说,YOLOv3-Lite 在检测指定对象方面达到了最先进的性能。这张表向我表明,模型更糟糕,只是抛硬币。我在这里想念什么?

2个回答

并非所有概率都是 50/50。

我假设您正在查看的论文是eYOLOv3-Lite: A Lightweight Crack Detection Network

在评估指标部分下,我看到

对于每个图像,联合上的交集 (IoU) 在检测到的裂缝的边界框和地面实况之间可以计算为:IoU=AoAu , 在哪里IoU是联合上的交集,Ao是重叠区域,并且Au是联合区域。当。。。的时候IoU预测的边界框和ground truth的值大于某个阈值(例如0.5),则认为是真阳性;否则,这是一个误报。

看起来问题是为每个图像分配一个边界框,以便边界框包含裂缝(或与裂缝相关的地面实况框)。准确计算概率并不容易,但很明显,完全随机分配边界框会产生低于 50% 的成功率。

这张表会告诉我模型更糟糕只是抛硬币

你为什么这么说?掷硬币并期待 50% 正面是随机的,然而,只有当结果的概率是两种可能性之一时,这才是正确的。

当可能的结果多于(例如超过 2 个)时,随机机会下降。如果有 N 个可能的结果,则分数为 1/N。