CNN 卷积和池化层会反向传播吗?

数据挖掘 机器学习 神经网络 美国有线电视新闻网 卷积
2022-03-12 03:19:47

我无法通过谷歌搜索找到一个简单的答案,这让我认为答案是否定的,但我想确定......

在前馈网络中,所有的权重层都被反向传播,但是在卷积神经网络的反向传播步骤中会发生什么?是否只有网络的前馈部分(在卷积和池化层之后)被反向支持?这意味着卷积层是静态特征提取的一种形式......

1个回答

神经网络的所有层都参与反向传播过程。这包括卷积层和池化层。一般来说,输入必须通过的网络的每一步,反向传播也会通过(以相反的顺序)。

但是,并非所有层都包含可训练的参数。例如,标准池化层(最大池化、平均池化)和标准激活层(sigmoid、ReLU、softmax)没有任何参数需要调整。他们仍然参与反向传播,贡献他们的偏导数,但他们只是没有可以更新的权重。

卷积层确实包含在此过程中更新的权重(滤波器的参数及其偏差)。

注意:我假设您所说的“前馈部分”是完全连接的层,通常被放置为网络的最后一层。在标准 CNN 中,所有网络都是“前馈部分”,(包括卷积层)它只是意味着输入通过顺序管道直到成为最终输出。