FC 层比 Conv 层有什么优势?

机器算法验证 机器学习 神经网络
2022-03-26 21:47:31

我正在尝试考虑完全连接(FC)层比卷积层更好的选择。

就时间复杂度而言,它们是否相同?

我知道卷积可以代表更广泛的特征,那么什么时候更喜欢使用 FC 层?

2个回答

卷积层相对于全连接层的优势恰恰在于它们代表的特征范围比全连接层更窄。全连接层中的神经元连接到前一层中的每个神经元,因此如果前一层中的任何神经元发生变化,它也会发生变化。然而,卷积层中的神经元仅连接到卷积核宽度内前一层的“附近”神经元。因此,卷积层的神经元可以代表更窄范围的特征,因为任何一个神经元的激活对前一层的大多数神经元的激活都不敏感。

在我们期望大部分信息是本地信息的情况下,以这种方式限制特征范围可能很有用例如,在图像分类中,无论鸟在图像中的位置如何,也无论图像中的其他地方是否还有汽车,根据鸟所在位置的像素,鸟看起来像鸟。这种先前期望的效用是通过以下观察得到的:即使是具有完全随机权重的 CNN 也提供了与完全训练的 CNN 几乎一样有用的特征。

正如wiki文章中提到的,卷积层针对平移不变的参数进行了优化,例如图像和视频中的像素强度。如果您的参数表示连续变量(例如空间或时间)的离散化样本,那么平移不变性意味着参数的每个窗口(例如图像的 10x10 像素切片)在某种程度上彼此相似,并且有利于通过相同的方式进行预处理(过滤)。在这种情况下,您可以选择一个卷积层,并通过这样做,将您关于这个世界的对称性的知识强加到您的神经元网络上。

另一方面,如果您有一堆输入参数,其索引与其含义无关(例如 params=[温度,压力,音量,响度,亮度,...]),那么它们肯定不是平移的-invariant,不满足卷积层的内在假设,使用它只会有害