LeNet-5 - 在 C3 层中组合特征图

数据挖掘 深度学习 美国有线电视新闻网 卷积神经网络
2022-03-10 01:24:45

著名的 LeNet-5 架构如下所示: 在此处输入图像描述

层 S2 的输出尺寸为:10x10x6 - 所以基本上是一张带有 6 次卷积的图像,用于派生特征。

如果每个维度再次提交给 6 个过滤器,则结果输出将是 10x10x36,但它是 10x10x16。最初我偶然发现了它,但最后我发现这是通过组合来自层 S2 的输入并在其上应用一个内核来完成的,如文章中所述:

C3 层是具有 16 个特征图的卷积层,每个特征图中的每个单元都连接到 S2 特征图子集中相同位置的几个 5x5 邻域

.

表 I 中的连接方案背后的基本原理如下 第一个六个 C3 特征图从 S2 中三个特征图的每个连续子集获取输入。接下来的六个从四个连续子集中获取输入。接下来的三个从四个不连续的子集中获取输入最后一个从所有 S2 特征映射中获取输入 C3 层有 1,516 个可训练参数和 151,600 个连接

其路线图见下表: 在此处输入图像描述

我仍然不了解的是我应该如何将它们结合起来?

在上一层中,我刚刚在 1 维上应用了 6 个内核,得到了可以理解的 6 维。老实说,在这里我有点失落:(

请帮忙。马特乌什

2个回答

见这张表,每行有 16 个数字。我不知道如何对齐它们,所以我也发布了一张图片。

滤波器 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
重量 75 75 75 75 75 75 100 100 100 100 100 100 100 100 100 150
偏置 1 1 1 1 1 1 1 1 1 1 1 1
可训练参数 76 76 76 76 76 76 101 101 101 101 101 101 101 101 101 151

在此处输入图像描述

过滤器0C3 由过滤器生成0,1,2S2 的。内核大小为5x5. 参数个数是5x5x3=75+1(bias)=76. 这也适用于其他过滤器。所以总的来说,有76+76+...+101+151=1516参数。