商业 RAW 图像处理器中使用了哪些降噪算法?

信息处理 图像处理 噪音 估计 去噪 软件实现
2021-12-31 00:04:56

我试图猜测商业处理器中用于数码相机原始图像的降噪算法。我发现这对于锐化算法来说相当容易(例如,大多数使用不锐化蒙版作为至少一个选项,这从行为和可调整参数中可以清楚地看出),但我对降噪几乎一无所知。我想

  1. 尽可能确定正在使用的基本算法(当然会有一些专有优化),以及
  2. 确定衍生它们的相应学术论文,了解它们的内部工作原理并用作当代文献的跳板(通过跟踪引用)。

Capture One 和 Lightroom 这两款常用处理器的降噪算法参数如下图所示。这里有一些进一步的线索。

  • 他们很快。在我普通的笔记本电脑上处理 24 MP 原始图像时,每一个都可以在大约一秒或更短的时间内工作。
  • 他们老了。Lightroom 于 2007 年发布,我认为从那时起核心选项没有改变。
  • 它们分别对亮度和颜色噪声进行操作。
  • 我不认为它们是基于小波的,因为(据我所知)这些应用程序在其他任何地方都不使用小波。

问题 1:是否有符合此描述的众所周知的行业标准算法?

在所有可用的原始处理器中,最好的降噪似乎来自 DxO 的 Photolab。(这当然是有争议的,但它始终处于或接近我所见过的比较的顶部。)我想尝试了解它是如何运作的。附上其参数的屏幕截图。

DxO 将其描述为逐像素工作的局部算法:

“去噪算法(在 PRIME 中)深入分析原始图像的结构:为每个像素测量超过一千个相邻像素。这种广泛的探索确定了相似的数据(用于)使用(重建)图像信息。”

除此之外,我们还知道一些事情:

  • 它相对较新(2014 年发布)。
  • 它很慢。用户报告每张照片需要一分钟或更长时间。
  • 推荐用于非常嘈杂的高 ISO 照片。DxO 和用户报告说,对于具有轻微噪点的照片,相比更快的降噪技术没有优势。

问题 2: DxO 可能会使用什么算法?

我意识到这是一个有点不寻常的问题,所以提前感谢您让我访问您的专业知识。

在此处输入图像描述在此处输入图像描述 在此处输入图像描述

1个回答

商业降噪器的常用方法

商业降噪器与您在大多数论文上看到的不同。虽然在论文中,结果主要使用客观指标(PSNR / SSIM),并与具有高噪声水平的加性高斯白噪声(AWGN)进行评估,现实世界图像大多具有中等噪声水平,具有空间相关性的混合泊松高斯分布. 它们还经过优化,看起来对人眼很好,而不是客观指标

大多数降噪器使用两种主要方法,将它们与您在降噪论文上看到的区别开来:

  1. 多尺度方法
    多尺度方法(通常使用一些小波分解来完成,但可以使用许多不常见的 LPF / HPF 滤波器或经典的金字塔分解[这是小波的特定情况])是处理空间相关性的常用方法这在现实世界的图像中很常见。假设对于相对较窄的频谱带,噪声是白色或近似白色的,这允许使用论文中看到的常见去噪方法。

  2. 噪声估计
    算法的校准是广告降噪器的关键。大多数使用单个参数(Noise STD)估计噪声,但好的估计噪声曲线(Per Scale),这意味着噪声标准与亮度水平。它还有助于处理噪声的非标准分布。这一步是主观上获得良好结果的关键。您可以在Darktable 博客文章 - 分析传感器和光子噪声中阅读它。这通常与方差稳定变换(VST) 一起使用以处理非高斯分布。

  3. 从光度中分离颜色
    人眼对噪声的敏感度在颜色与光度中是不同的。我们对有色鼻子非常敏感,对“灰色”噪音不太敏感。所以最好单独对颜色通道进行去噪处理,然后再对亮度通道进行去噪处理。

使用上述方法的经典降噪器将是Neat Image

常用的方法基于:

  • 转换的阈值化
    最常见的转换是基于小波或 DCT/DFT 的。
  • 基于偏微分方程
    不太常见和流行但有时有效的方法。它们的演变始于各向异性扩散,后来的迭代基于结构/方向和转向向量的方法。
  • Non Local Means Non Local Means 去噪
    方法 的一些变体

高级方法基于 2 的合并,如块匹配 3D 变换去噪(BM3D) 中所示。

DXO Labs 降噪器

DXO Labs 历来使用由Jean Michel Morel的实验室和学生开发的算法。
第一次迭代基于几乎普通的非局部均值算法。后来添加了更高级的工具(多尺度方法、噪声估计等)。更高级的迭代正在使用非局部贝叶斯去噪的概念。

目前的 DXO Prime 算法是基于论文——图像去噪烹饪的秘密中的思想。

Topaz Labs 降噪器

Topaz Labs 及其经典(非 AI)Topaz Denoise 一直在使用非本地方法。这可以从其非常具体的“清洁工件”中得出结论,这些“清洁工件”对于基于非局部均值的方法来说是经典的。使用这种方法,它具有非常有效的噪声分析性能非常好。
它的 AI 迭代基于 CNN 的一种去噪方法,因为该算法无法调整到图像的特定尺寸。

备注
我希望这个问题将成为社区许多用户的详细信息和信息。