CNN 中的频道是如何处理的?是独立加工还是融合?

数据挖掘 深度学习 美国有线电视新闻网 术语 数学
2022-02-15 15:38:13

假设我们正在讨论应用于图像的 2D 卷积。

在灰度图像中,数据是维度为的矩阵,其中是图像的宽度,是其高度。在彩色图像中,我们通常有 3个通道:红色、绿色和蓝色;这样,彩色图像可以表示为维度为的矩阵,其中是通道数,即 3。w×hwhw×h×cc

卷积层接收图像(的激活图作为输出卷积中的输入通道数为,而输出通道数为w×h×cw×h×ccc

或 3 或 4 等,CNN 是否会对数据的融合表示进行操作?还是一次在每个通道上运行,然后叠加结果?假设我有 4 个通道,每个通道都是一个 2D 矩阵,那么 CNN 会在内部形成 4 个通道的融合并做出某种表示吗?c=2

1个回答

为维度为的卷积层。然后它的每个过滤器都连接到前一层的所有个过滤器(或通道*)。nw×h×ccc

我发现在这里查看权重的数量很有帮助:卷积层的单个滤波器,内核大小为将具有权重。由于第层有个这些过滤器,它总共有权重。nk×kc×k×kncc×k×k×c

在一个带有 3 通道输入层后跟一个 conv 的玩具示例中。具有 5 个通道的层,如下所示(为简单起见,此处未显示偏差): 玩具示例

从图中可以看出,conv 的每个特征图。层接收所有输入通道作为输入(如果这不是输入层而是具有 3 个特征图的转换层,则同样适用)。


*请注意,上一层是否为 conv 并没有区别。层或输入层-在第一种情况下,您将其称为深度“过滤器”,在第二种情况下,您将其称为“通道”,但这不会改变它与以下转换的连接方式。层。