比例和旋转不变的特征描述符

信息处理 计算机视觉 局部特征 分类 物体识别
2021-12-27 02:32:26

您能否列出一些用于特征检测的尺度和旋转不变特征描述符。

该应用程序用于使用多类分类器检测无人机捕获的视频中的汽车和人类。

到目前为止,我一直在研究 SIFT 和 MSER(它是仿射不变的)。我也看过 LESH,LESH 是基于局部能量模型,但是是以非旋转不变的方式计算的,我一直在想一种方法来利用局部能量,建立一个旋转不变特征描述符,我在这里阅读有哪些可以在商业应用中使用的 SIFT/SURF 的免费替代品?,即“如果您将方向分配给兴趣点并相应地旋转图像补丁,您将免费获得旋转不变性”,但不知道这是否甚至可以缓解或我如何将其应用于我的问题,任何帮助都是赞赏,谢谢

4个回答

就 SIFT/SURF 的替代方案而言,您链接的问题提供了非常好的答案。

我还可以读出两个问题:

  • “我怎样才能建立一个有用的(例如旋转不变的)特征描述符”?
  • “关于链接问题的陈述,他如何实现自由旋转不变性?”

构建特征描述符

这是一个有效的研究课题。好的特征描述符不是任何人都可以在一个下午完成的。当人们成功地对具有理想属性的特征描述符进行建模时,他们就会发表文章。这是目前只使用少数最先进的描述符的原因,这也是我建议您做的:找到一个适合您需求的特征描述符

“免费”实现旋转不变性

您可以确定图像补丁(您的特征区域)的主要梯度或方向。然后,旋转图像块,使梯度始终朝向同一方向,例如(向上)。例如,如果你有一个和一个图像,它们的主要梯度将分别指向左()和右(),当你将它们旋转这个量时,你会得到相同的图像。0|black->gray->white||white->gray->black|9090

这样,您将始终在具有相同主要方向(旋转的补丁)的图像补丁上计算描述符,从而实现旋转不变性。

另一种免费获得旋转不变性的方法是选择旋转不变的对象。例如,圆或环对旋转是不变的。

特征提取器:运行边缘检测。对于每个像素邻域NxN,计算边缘方向和幅度 2D 直方图。找到所有具有高总震级和高角散布的点。删除所有没有径向对称性的点。

特征描述符:找到每个圆形对象的中心。由于物体是圆形的,它没有主要的梯度角。所有的角度都是平等的。因此,径向轮廓(极坐标中像素值的总和)是角度不变描述符。


顺便说一句,这就是在电路板上将基准制造成圆形的原因之一:

在此处输入图像描述

我宁愿研究 KAZE / AKAZE,它们在显着加速的情况下表现同样出色。变形情况也是可以容忍的。OpenCV 最近通过 GSoC 2014 获得了一个实现。你可以在这里找到它。

如果将特征点周围的局部补丁重新映射到对数极坐标(原点位于兴趣点),比例变化对应于沿对数径向轴的平移,而旋转对应于平移(带环绕)沿角轴。如果随后计算二维傅里叶变换,径向和角度方向的平移将变为频域中的相移。如果您随后计算傅立叶变换的绝对值,则相位完全消失,原始图像块的尺度变化和旋转变得不明显。因此,对数池坐标中图像的 2D 傅里叶变换的绝对值将是您的特征描述符。

好吧,至少在理论上。在实践中,您需要限制补丁的径向延伸。这意味着您需要在计算傅里叶变换(实际上是傅里叶级数)之前切除大部分数据,因此在对数极坐标中沿对数径向方向的平移并不完全对应于频域中的相移不再,因此该方法不是完美的尺度不变的。我怀疑如果你在对数半径坐标上使用一些没有不连续性的窗口函数并将其与颜色强度相乘,这个问题会有所缓解。

然而,特征描述符它仍然应该是完全旋转不变的。

参考:没有比例选择的比例不变性