为什么要将频谱图转换为 RGB 以进行机器学习?

机器算法验证 机器学习 时间序列 神经网络 特征工程
2022-03-24 14:59:31

我看过一些将频谱图的 RGB 图像提供给神经网络的出版物,有人声称网络使用 RGB 比灰度更好。

频谱图基本上是一种二维表示,每个点都是非负实数值。将其转换为 RGB 不会添加任何信息。更糟糕的是,它引入了对颜色图选择的依赖,这只是噪声。它比使灰度图像 RGB 更糟糕,因为它通过拆分为通道来破坏频谱图的空间依赖性。

为什么 RGB 频谱图的性能永远优于灰度?


具有良好结果的示例酒吧,但有理由怀疑其无能,例如“[1356x1071] 图像无损缩放到 32x32”,这是不可能的。无法与灰度方法进行比较,因此我们无法判断它是否表现出色。


我将列出一些“琐碎”的解释以避免包含它们的答案:

  1. 迁移学习:使用在 RGB 上预训练的网络
  2. 专为最大化 RGB 效用而定制的架构

虽然它们是有效的解释,但没有证据表明 RGB 更好。

1个回答

我没有非常“确凿”的证据,但我有一个正在审查的出版物,我们已经训练 ResNet50 从嘈杂的频谱图中回归一些值。

  • ImageNet 中的预训练优于从随机初始化开始
  • 对于预训练网络,使用彩色频谱图优于灰度频谱图(归一化为 0-1)

我所拥有的只是几个数据集中的比较实验,所以要么接受,要么放弃 :)