假设我有两个图像是同一个更大图像的一部分,使用两个蒙版剪切(为简单起见,我们假设蒙版只是大小相同的矩形)。假定图像重叠。具体的例子是:图像稳定(相同背景的两个不同视图)和对象跟踪(匹配两个图像上的对象)。
我已经阅读了这篇出色的文章http://werner.yellowcouch.org/Papers/subimg/,但它处理的是找到一个小图像的位移,它是一个大图像的一部分,而我想找到两者之间的位移相同大小的图像。我的图像相交,但不包含彼此。
我想找到正确重叠图像匹配部分的平移变换系数。我想使用基于 FFT 的相关匹配之类的东西。简单地使用 FFT 相关有以下问题:
- 图像帧的边缘是强特征。如果算法搜索最大化类似的位移 ] ,它只会捕捉图像,以便它们的帧匹配,忽略内容。我听说过窗口化,但我不明白如何在这里应用它。如果每个图像在边缘处呈锥形,则图像在正确定位时将不再匹配。
- 如果我们使用一个相关函数,通过将结果除以位移匹配产生的交集区域来归一化结果,算法只会尝试将交集保持在最小值(~1x1 像素;交集区域越小,越容易它是找到一个几乎完美的匹配。)
如何使用窗口或其他一些技术来解决这个匹配问题?
更新:我知道可以通过丢弃低频信息(采用梯度或应用 Sobel 算子)部分消除该问题。我试图在不丢弃低频信息的情况下解决问题。此外,仅保留高频特征仍然不能解决概述的问题:想象一个图像具有明亮的细水平光束和暗淡的正方形。这些特征是高频的,因此在应用过滤器后仍将保留。互相关将匹配忽略正方形的明亮光束部分。
这是显示匹配问题的示例:
带边框的完整图像:
帧 1 和 2:
基于相关的不正确帧匹配: