你的例子

在您的示例中，我们有 3 个输入和 2 个输出单元。要应用卷积，请分别考虑具有 shape:[1,1,3]和的那些单元[1,1,2]。在 CNN 术语中，我们有3输入和2输出特征图，每个特征图都有空间维度1 x 1。

将n x n卷积应用于具有k特征图的层，需要你有一个 shape 的内核[n,n,k]。因此，您的卷积核1x1具有 shape [1, 1, 3]。您需要2这些内核（或过滤器）来生成2输出特征图。请注意：$1 \times 1$卷积真的是 $1 \times 1 \times \text{number of channels of the input}$卷积。最后一个很少被提及。

事实上，如果您选择内核和偏差：

$$\begin{align} w_1 &= \begin{pmatrix} 0 & 1 & 1\\ \end{pmatrix} \in \mathbb{R}^{3}\\ w_2 &= \begin{pmatrix} 2 & 3 & 5\\ \end{pmatrix} \in \mathbb{R}^{3}\\ b &= \begin{pmatrix}8\\ 13\end{pmatrix} \in \mathbb{R}^2 \end{align}$$

然后，conv 层将计算 $f(x) = ReLU\left(\begin{pmatrix}w_1 \cdot x\\ w_2 \cdot x\end{pmatrix} + \begin{pmatrix}b_1\\ b_2\end{pmatrix}\right)$ 和 $x \in \mathbb{R}^3$.

真实代码中的转换

对于现实生活中的示例，还可以查看我的vgg-fcn实现。此文件中提供的代码采用 VGG 权重，但将每个全连接层转换为卷积层。vgg生成的网络产生与应用于 shape 的输入图像时相同的输出[244,244,3]。（当应用两个没有填充的网络时）。

转换后的卷积层被引入函数中_fc_layer（第 145 行）。它们具有7x7FC6 的内核大小（这是最大的，因为pool5VGG 输出一个形状为 .Layer 的特征图，[7,7, 512]并被FC7实现FC8为1x1卷积。

《全连接表》

他可能指的是与输入特征图具有相同维度的过滤器/内核。在这两种情况下（代码和您的示例），空间维度在某种意义上都是最大的，即过滤器的空间维度与输入的空间维度相同。

全连接层（用于输入大小 $n*n$ 结束 $i$ 频道，以及 $m$ 输出神经元）不等价于 1x1 卷积层，而是等价于 $n$X$n$ 卷积层（即一个大内核，与输入大小相同 - 无填充），滤波器数量等于 FC 输出/隐藏层（即 $m$ 过滤器）

如您所问，它具有与 FCN 相同数量的参数，即 $n*n*i*m$ （加上偏见）：

FCN： $n*n*i$ （每个输入层的权重=输入$*$渠道） $* m$ （乘以输出/隐藏层宽度）

美国有线电视新闻网： $n*n$ （每个内核） $* i$ （每个输入通道的内核） $* m$ （过滤器数量）

（来源）

等效内核只是具有输入具有的任何形状，并计算张量点积。（我使用“形状”这个词，因为“大小”似乎有些混淆，这通常忽略了通道/深度维度）。不涉及“跨输入滑动内核”，因为内核尽可能大。引用斯坦福 CS 231n 课程笔记：

任何 FC 层都可以转换为 CONV 层。例如，一个 K=4096 的 FC 层正在查看一些大小为 7×7×512 的输入量，可以等效地表示为一个 F=7,P=0,S=1,K=4096,F 的 CONV 层=7,P=0,S=1,K=4096。换句话说，我们将过滤器大小设置为与输入体积的大小完全相同，因此输出将只是 1×1×4096，因为只有一个深度列“适合”输入体积，给出相同的结果初始 FC 层。

我相信“F=7,P=0,S=1,K=4096,F=7,P=0,S=1,K=4096”在这里意味着每个卷积核的形状为 7x7x512，并且有 4096 个这样的过滤器。

较早的答案提到 AlexNet 的最后一个 fc（接收形状为 1x1x4096 的输入并计算 1000 个类别分数）被实现为“1x1 卷积”。完整地说，每个这样的卷积核都有1x1x4096 的形状，并且有 1000 个。

Le Cunn 还在CNN 论文第 8 页对 LeNet5 的描述中解释了这一点：

C5 层是具有 120 个特征图的卷积层。每个单元都连接到 S4 的所有 16 个特征图上的 5x5 邻域。这里因为S4的大小也是5x5，所以C5的特征图大小是1x1；这相当于 S4 和 C5 之间的完全连接。

对于像我这样的 PyTorch 新手 -不要将“全连接层”与“线性层”混淆。

线性层和 1x1 卷积是一回事。我花了一段时间才明白没有“全连接层”这样的东西——它只是将空间维度扁平化为一维巨型张量。展平导致所有空间位置上的每个元素都呈现为单独的特征图/通道/维度（无论您想如何称呼它）。因此，当我们在展平张量上应用线性层时，我们会得到一个完全连接的操作，这显然与 1x1 卷积不同。

1x1卷积只是输入特征图的加权求和，在 OP 的问题中，3. O[0] =$\sum_{j=0}^{1} X[j]W_0[j] + b[0]$. 同样，O[1] =$\sum_{j=0}^{1} X[j]W_1[j] + b[1]$ 和 O[2] = $\sum_{j=0}^{1} X[j]W_2[j] + b[2]$.

上述 3 个方程展开为 $O = W_{2 \times 3}X_{3 \times 1} + b_{2 \times 1}$.

其他声称完全连接层只是大小输入的有效 卷积层的答案令人困惑（尽管是正确的）。nxnnxn