1x1 卷积,与全连接层等价

数据挖掘 神经网络 卷积神经网络
2022-02-19 23:07:57

我对将 1x1 卷积等同于全连接层的概念感到困惑。以下面的简单示例是 2 个输入通道的 1x1 卷积,每个通道的大小为 2x2,还有一个输出通道。

在此处输入图像描述

我可以将其与全连接层联系起来的唯一方法是说有 4 个全连接层,输入特征图中的每个位置一个(输入和输出颜色编码)。

据我所知,我的解释与网络中的网络论文[Lin et al。2013] 将 1x1 描述为等效于跨通道参数池

跨通道参数池化层也相当于一个具有 1x1 卷积核的卷积层。

从 Yann LeCunn 那里看到了这个,将 1x1 卷积等同于全连接层。我已经阅读了这个答案,我只是没有看到输入卷上的 1x1 卷积和单个完全连接层之间的等价性......

任何见解都将不胜感激,如果你可以请回到上面的例子。谢谢!

1个回答

OP 中给出的一维卷积可以用四个单独的全连接层复制的解释是正确的(见图)。此外,至少在某些实现中,可以使在 1x1 卷积期间使用的内核权重可训练,就像可以使全连接层中的权重可训练一样。这些点表明,每个全连接层都不能通过等效的 1x1 卷积在数学上进行复制。这是基于 1x1 卷积执行“逐列点积”的定义,这样多层特征图中的每个像素列都减少为单个数字(像素)。全连接层混合权重的方式与执行 1x1 卷积时混合权重的方式不同。总之,全连接层和 1x1 卷积每个都有自己的用例——这些用例之间存在一些重叠;但是,这两者并不打算在一般意义上在数学上等价。

四个独立的“密集层”相当于 OP 中的 1x1 卷积