在阅读有关张量的各种数学运算时,我第一次遇到了谱运算。
描述如下(本书第53页)
Spectral ops - 用于在频域中进行转换和操作的函数,例如
stft
和hamming_window
在浏览计算机视觉中的不同代码时,我有使用所有其他数学运算的经验:逐点运算、归约运算、比较运算等。但是,我个人从未遇到过任何对张量使用谱运算的代码。
所以,我很想知道在计算机视觉领域学习光谱操作是否有优势?
在阅读有关张量的各种数学运算时,我第一次遇到了谱运算。
描述如下(本书第53页)
Spectral ops - 用于在频域中进行转换和操作的函数,例如
stft
和hamming_window
在浏览计算机视觉中的不同代码时,我有使用所有其他数学运算的经验:逐点运算、归约运算、比较运算等。但是,我个人从未遇到过任何对张量使用谱运算的代码。
所以,我很想知道在计算机视觉领域学习光谱操作是否有优势?
使用谱运算的主要优点来自协变定理,该定理指出两个函数卷积的傅里叶变换等于这些函数的单个傅里叶变换的逐点乘法。
数学上:
当然,乘法比卷积方便得多,傅里叶变换也是众所周知的运算,计算速度很快,所以这并不代表缺点。
在实践中,当涉及到计算机视觉时,卷积定理成为多种分析去噪和滤波方法的基础。无需使用卷积在空间域上的图像上应用内核,您可以简单地通过傅里叶变换移动到频域并将图像和内核相乘。
此外,当移动到频域时,更容易访问图像的特定特征。例如,锐利的线条和边缘以高频为特征,因此我们可以通过简单的掩蔽操作来提取它们,而不必在空间空间中提出一个艰难的内核。这就是低通和高通滤波器的核心思想,下面是一个例子,你可以看到通过遮蔽两个图像光谱的中心(低频)区域,我们可以很容易地混合低频属性(例如阴影)和两个图像的高频特性(例如边缘)。空间域中的相同操作即使不是不可能也将是困难的。
在傅里叶分析中,图像由频率和相位表示。这允许过滤或变换某些频率或相位。
例如,Alan Oppenheim 和 Jae Lim 表明,相位包含有关图像中对象轮廓的信息。他们的论文发表于 1981 年,因此扫描效果不佳,图像也不清楚。以下书籍中有更好的例子:
这是第二本书的一个例子。
考虑两个图像,“Lenna”和“Airplane”,
进行傅里叶变换,交换傅里叶光谱的幅度和相位,然后执行傅里叶逆变换。结果如下。
“飞机”的幅度和“莱纳”的相位:
“Lenna”的幅度和“飞机”的相位:
因此,关于物体的信息主要包含在光谱的相位部分中。
当振幅被常数 1 代替时会发生这种情况:
这可用于设计图像处理算法。
将傅立叶变换应用于图像处理的更多示例显示在 Guillermo Sapiro 的讲座中,他用 HIV 图像制作了令人印象深刻的东西:第 1部分,第 2 部分。教授的算法被用于火星探测器。
Wilhelm Burger, Mark J. Burge 一书中对光谱技术进行了很好的解释。数字图像处理。使用 Java 的算法介绍 (2016)。