深度学习的一次性目标检测

机器算法验证 神经网络 深度学习 图像处理 计算机视觉 物体检测
2022-04-02 09:05:56

近年来,随着深度学习范式的普及,目标检测领域取得了重大突破。YOLO、SSD 或 FasterRCNN 等方法在目标检测的一般任务中保持了最先进的水平 [ 1 ]。

然而,在我们只为我们想要检测的对象/徽标提供一张参考图像的特定应用场景中,基于深度学习的方法似乎不太适用,而局部特征描述符(如 SIFT 和 SURF)似乎是更合适的替代方案,部署成本接近于零。

我的问题是,你能指出一些应用策略(最好是可用的实现,而不仅仅是描述它们的研究论文),其中深度学习成功地用于对象检测,每个对象类只有一个训练图像?

示例应用场景:

单个训练/参考图像 我们必须检测徽标的示例图像

在这种情况下,SIFT 成功检测到图像中的徽标:

使用 SIFT 成功检测

1个回答

事实证明,仅仅用一堆数据增强训练一个普通的对象检测网络就会得到一些不错的结果。

我从您的帖子中获取了“可口可乐”标志,并对其进行了一些随机增强。然后我从 flickr 下载了 10000 张随机图像,并将徽标随机粘贴到这些图像上。我还在图像中添加了随机的红色区域,这样网络就不会知道任何红色斑点是有效对象。我的训练数据中的一些样本:

在此处输入图像描述 在此处输入图像描述 在此处输入图像描述 在此处输入图像描述

然后我在这个数据集上训练了一个 RCNN 模型。这是我在谷歌图片上找到的一些测试集图片,模型看起来还不错。

在此处输入图像描述 在此处输入图像描述 在此处输入图像描述

结果并不完美,但我在大约 2 小时内将其拍打在一起。我希望在数据生成和模型训练上多加注意,你可以获得更好的结果。

我认为诸如Learning to Model the Tail之类的论文中的想法可以用来允许只用一个或几个例子来学习新的对象类别,而不是像我那样需要生成一堆数据,但我不知道他们做任何物体检测实验。