CornerNet 论文中的热图是什么?

人工智能 深度学习 计算机视觉 物体检测 文件
2021-11-15 21:56:19

我一直在努力了解CornerNet的工作原理,但我无法弄清楚有关架构的一些部分。

首先,作者提到有 3 个不同的部分可以预测为热图、嵌入和偏移。

此外,在论文中,据说网络是在 COCO 数据集上训练的,该数据集具有边界框和类注释。

就我而言,由于 CornerNet 是基于检测左上角和右下角,因此热图的真实标签应由具有类分数的边界框的左上角和右下角像素位置组成(但我可能错了)。热图是做什么用的?

此外,对于嵌入部分,作者使用地面实况像素位置的 pull&push 损失来找出哪些角对属于哪个对象,但我不明白如何反向传播这种损失。如何反向传播嵌入损失?

1个回答

角网意义上的热图是池化角值的热图。正如论文中所讨论的,有一个角池操作可以为您提供作为角的像素点的向量值(它可能会或不会)。角池的输出是 CxHxW。然后要生成热图,您可以像 Grad-CAM 方法一样训练网络。热图生成的训练意味着我们将告诉一个给定的像素点有多少权重成为角点。即,如果它具有高权重,它将在该像素区域上生成更多颜色值。

热图用于预测角点。这意味着如果您知道哪个像素的权重更高,那么该像素将更有可能保持给定边界框的右上角或左下角。