使用信号处理“清理”视频的最新技术是什么?

信息处理 图像处理 视频处理 超分辨率
2022-01-29 02:15:14

两部分问题 - 我们都看过电影/电视节目,其中警察/联邦调查局/间谍使用计算机软件拍摄有颗粒感的照片并进行“清理”以查看更好的图片和更多细节。我假设这个概念是由某种超强像素平滑或抗锯齿类型的算法执行的,以基于演绎处理来填补空白。

第 1 部分:这项技术在公共/商业软件世界中的真实性如何?我不是在问关于所谓的秘密 gov 软件之类的任何猜测,我只是想知道我们今天在这个概念上的实际情况是什么?全自动与人工辅助有多少。

第 2 部分:假设这种照片技术确实存在一些现实,这个问题的第二部分是如何(如果有的话)将其应用于视频?在这里,全自动与人工辅助的问题再次引起人们的兴趣。

这篇文章的核心是一个终极问题,即今天的软件能够拍摄旧的 VHS 或 DVD 记录并处理帧以创建新的高清分辨率重制版的可行性。考虑到这样做意味着即使是一个简单的婚礼视频也要清理数万帧,我当然希望这项技术很快。



注意:根据主题内和元讨论,我继续在另外两个建议的 SE 论坛中交叉发布,以获得他们在这个问题上的观点和专业知识。到目前为止(可以这么说,它仍然有点“早”)我在 3 个中的 2 个中收到了一些非常有趣的信息。

当这一切都完成时(选择了良好的答案时)我会很高兴为所有三个社区的利益合并这些方法:

2个回答

娱乐业极大地夸大了视频增强功能的作用。

2016年回答:

空间和时间降噪

通过Neat VideoMSU Denoiser Filter进行降噪,它们在某处(根据2007 年的比较)或接近最先进的硬噪声,利用相邻帧通常是同一场景但具有独立的噪音。因此可以在空间和时间上过滤噪声。但根据我的经验,这种处理只是表面上的。它并没有真正揭示人类无法通过噪音看到的东西,它只是让视频看起来更好看。两种滤镜都有自动调整设置的选项,但由于降噪似乎总是在降噪和引入伪影之间进行折衷,因此应手动调整降噪的最终“强度”。

运动估计和超分辨率

MSU 超分辨率滤波器以 2 倍水平和垂直分辨率重建新视频。它遵循与上述两个过滤器类似的范例,但也估计帧之间的运动。原始像素化(以及其他不跟随运动的伪影,例如阻塞和传感器莫尔条纹)可以通过补偿运动然后进行时间过滤来减少。这提高了分辨率,并使像素被剥夺的文本和面部等细节内容更加清晰。仅当像素化未正确消除锯齿时,才能提高分辨率。如果不仔细进行面部的人工像素化,可以通过相同或类似的处理来减少。这是人类视觉系统天生不习惯做的一种增强,实际上可以揭示隐藏的有用信息。

2022年更新:

基于深度学习的方法

正如许多领域所发生的那样,如今使用基于深度学习的方法可以获得最高质量的结果。例如,见梁靖云和曹,杰章和范,雨辰和张,凯和兰詹,拉克什和李,亚威和蒂莫夫特,拉杜和范古尔,卢克。2022. VRT:视频恢复变压器arXiv 预印本 arXiv:2108.10257Github

我最近与法国法医警察部门的一个团队讨论了图像恢复问题。它们存在与脏/蜘蛛网嵌套镜头、错误照明、与不良相机位置相关的遮挡、MPEG 压缩中帧速率非常低、低分辨率智能手机镜头抖动、专有视频文件格式等问题。问题不同于学术论文中使用的一些理想化模型(已知的 psf,约束),通常更复杂,因此电影/电视节目的表现被高估了,如下图所示:

在此处输入图像描述

这个团队正在使用 Amped Five 解决方案,但我知道他们会对更好的解决方案感兴趣。

顺便讲义:超分辨率的限制以及如何打破它们,Bakker 和 Kanade,2002 年。