预处理以改善视频帧之间的哈里斯角跟踪?

信息处理 图像处理 预处理 局部特征 追踪
2021-12-31 18:57:57

在我们的无人机灰度视频图像稳定应用程序中,我们很难在从帧 N 中选择的帧 N+1 中找到“好的”哈里斯角。困难的根源似乎是帧之间的根本不均匀像素对比度变化。也许在空中飞行并使用较慢的帧速率(~3 fps)是像素对比度偏移的根本原因。

我们尝试了各种直方图均衡技术来尝试平滑帧之间的像素对比,以改进在帧 N+1 中跟踪“良好”的哈里斯角。结果仍然很差。

有没有人对如何在低帧率的白天空中环境中改善视频帧之间的哈里斯角跟踪有任何建议?预先感谢您。

编辑:2012 年 1 月 30 日,添加了测试用例(不是实际帧大小)图像

摘要更新:2012 年 2 月 8 日。人们认为哈里斯角在灰度视频特征跟踪中没有那么有用。下面的答案建议并提供各种替代方案的链接。我们正在评估这些替代方案,当我们达到这一点时,我将报告结果。谢谢大家的评论和回答。

这是前一帧 N,选择了 35 个“好”的 5x5 哈里斯角。原始帧是 8 bpp 原始像素。

前一帧 N

这是一个出色的 5x5 哈里斯角,位于第 59 行第 266 列:

以前 5x5 在 r59 c266

当前帧 N+1 带有几个跟踪的 5x5 Harris 角,其中只有一个有效:

当前帧 N+1

上一帧 5x5 Harris 角出现在帧 N+1 的 r47 c145:

以前的 5x5 现在的 5x5 r47 c145

请注意所选 5x5 中的像素强度如何以非均匀方式从前一帧到当前帧发生变化。帧之间的对比度均衡技术无助于检测当前帧中选择的 5x5 像素的前一帧。欢迎所有建议。

4个回答

你可以尝试不同的特征检测器吗?FAST可能更快,呃,更快,更高的帧速率将使匹配更容易(假设您的特征在帧之间移动很多)


看起来您正在尝试使用已识别特征点周围的灰度区域来逐帧匹配。这可能糟糕,尤其是在帧之间有大量移动的情况下。

通过使用通常称为要匹配的特征点周围区域的“描述符”,您可以获得更好的性能。

在SURFSIFT算法中使用了一些可能的描述符——它们具有识别要跟踪的区域的技术,但是您已经绕过了对此的要求。设计用于立体视觉匹配的更简单的描述符是人口普查变换,尽管它可能不适用于逐帧匹配,原因与您当前的方法(也广泛应用于立体视觉)大致相同

要阅读的书是计算机视觉中的多视图几何

作为 SIFT/SURF/Other 的替代方案,您还可以使用 FFT 相位相关,如果帧主要由平移转换(旋转/透视很小)。您还可以迭代地将相位相关应用于图像区域以获得更好的精度。

http://en.wikipedia.org/wiki/Phase_correlation

如果您尝试对齐两个图像,则应使用更好的局部特征检测器。SIFT 可能是最流行/最成功的一种。

我认为使用 Shi 和 Tomasi 更好,您可以将它们与相同的功能 goodfeaturestotrack 一起使用,它提供了比 harris 角更好的结果