深度学习计算机视觉任务中的通道顺序有多重要?

数据挖掘 深度学习 美国有线电视新闻网 数据增强 图片
2022-02-13 07:20:00

我在使用 OpenCV 时偶然发现了这个问题,它以 BGR 顺序将彩色图像存储在内存中,而我所知道的大多数其他库都使用 RGB 顺序。

这种差异有多重要?我可以将 BGR 图像用于 RGB 训练的网络吗?显然,消防车在大多数地区是红色的,而不是蓝色的。但是CNN不是在寻找纹理而不是简单的颜色吗?

即使假设存在差异 - 在训练期间应用通道排列作为一种数据增强是否仍然有意义?这会将纹理光谱从每个原始通道传播到其他通道,再次假设颜色并不是那么重要。

我很想知道这样的研究是否已经完成——如果没有,我会感到惊讶。

2个回答

我可以将 BGR 图像用于 RGB 训练的网络吗?

我认为性能会比RGB输入差很多。

颜色排列作为增强

论文重新思考数据增强:自我监督和自我提炼

如果增强导致图片之间存在较大的分布差异(例如,旋转),则强制它们的标签不变性可能很难解决,并且通常会损害性能。
为了应对这一挑战,我们建议学习增强样本的原始标签和自我监督标签的联合分布。

增强:使用整个输入图像的两个变换
1.这种变换由于其简单性而rotation (0◦,90◦, 180◦, 270◦)
被广泛用于自我监督
2.Color permutation
构造 M = 3!= 通过交换 RGB 通道获得 6 个不同的图像当颜色信息很重要(例如细粒度分类数据集)时,这种转换可能很有用

通过交换 RGB 通道获得 6(3x2x1)张不同的图像

任务相关但可能很重要。

让我们找到一些将亮度与色度分开的任意表示(表示为颜色 2D 向量)?
这样,您就可以检测独立于颜色的明亮物体,而彩色物体则不太依赖于亮度。显然,假设你是颜色不可知论者。
检查这篇论文,他们在哪里应用了这种排列增强