SRCNN - 如何获得仅具有亮度的彩色图像输出训练

数据挖掘 机器学习 美国有线电视新闻网 卷积
2022-02-28 19:37:10

我对卷积神经网络很陌生,适用于超分辨率。我阅读了这篇基于这篇论文的评论文章,试图更好地理解它。

在评论中,作者说:

其中 c 是图像的 [...] 通道数。在这种情况下,c=1 [...]

但是该示例显示了彩色图像。所以,首先,我问自己“彩色图像怎么可能只有一个通道? ”。

然后我在论文中阅读了以下内容:

大多数 SR 算法 [...] 专注于灰度或单通道图像超分辨率。对于彩色图像,上述方法首先将问题转换为不同的颜色空间(YCbCr 或 YUV),SR 仅应用于亮度通道。

好的,所以网络只适用于亮度。因此,它如何生成彩色图像作为输出?将全色系统转换为仅亮度,会丢失部分颜色信息。网络如何在此过程中将其取回?

1个回答

作者使用 Y 通道作为亮度通道,因为他们的图像在 YCbCr 颜色空间中。其他两个通道通过双三次插值放大。在论文的后面,他们写道:

具体来说,我们首先将彩色图像转换为 YCbCr 空间。SR 算法仅应用于 Y 通道,而 Cb、Cr 通道通过双三次插值放大。

在他们的论文中,作者还将这种方法与其他学习策略进行了比较,例如在所有三个通道上训练或首先训练 Y 通道,然后用所有三个通道微调网络。结果在第 11 页。该部分的结尾是:

还值得注意的是,与单通道网络相比,改进并不显着(即 0.07 dB)。这表明 Cb、Cr 通道对提高性能几乎没有帮助。