Image / Video Upscaling(超分辨率)算法讲解(Image and Video Upscaling from Local Self Examples)

信息处理 图像处理 卷积 小波 逆问题 超分辨率
2021-12-31 21:55:15

因此,我正在尝试实现本文中描述的经典算法图像和视频升级从本地自我示例演示文稿作为与基于 AI/NN 的方法比较相同问题的基准。我的问题是我使用的符号有一些问题,而且我相信对于那些希望通过简单地阅读论文来实现这一点的人来说缺少一些信息(或暗示)。

特别是,在论文的第 6/11 页,在等式 (1) 和 (2) 中,我不清楚图像和过滤器之间的卷积应该如何发生,正如论文中描述的过滤器(和在附录中显示),据我了解,是一维的。他们是否只是简单地分别对每一行进行卷积,然后使用相同的滤波器系数对列进行相同的处理(如Jorg Ritter - 图像上的小波变换 - 第 2 章 - 图像上的小波变换中所述)?还有什么?让我觉得有点奇怪的另一件事是等式 (4) 中使用的符号,第 6/11 页——如果过滤器是 1d,那么索引操作应该产生一个标量值,那么为什么等式中使用点积?

我真的很感激这里的任何帮助——我一直在研究相关材料(例如离散小波变换),以确定是否有一些我遗漏的常用约定,并且可以提供一些见解,但没有结果到目前为止.. 当然,如果有人知道可用的实现,如果您能指出我将不胜感激。非常感谢您的帮助,提前!

1个回答

在深度学习之前的时代,使用不同尺度数据的概念非常有前途(也可以查看 Michal Irani 在该主题上的工作)。

  1. 实际上,过滤器适用于行和列。这基本上是一个可分离的 2D 过滤器。看看:如何分解可分离滤波器、如何证明 2D 滤波器是可分离的、何时使用复合滤波器和何时使用可分离滤波器以及如何检查 2D 滤波器/信号/矩阵的可分离性

  2. 等式 4 中的符号意味着内积(基本上应用滤波器)为在同一级别上进行上采样和下采样的滤波器产生一个 delta 函数。这意味着等式 3 成立,因为滤波器是正交的。