反向传播过程中 CNN 中滤波器权重的错误

数据挖掘 神经网络 美国有线电视新闻网 反向传播
2021-10-06 16:10:01

假设一个卷积层接受一个输入X尺寸为 5x100x100 并应用 10 个过滤器F5x5x5,因此产生输出O10 个 96x96 的特征图。

在反向传播期间,层接收dEdO形状为 10x96x96。

我的问题是如何计算dEdF?

根据那篇文章 dEdF可以计算为之间的卷积XdEdO. 不幸的是,本文没有涵盖具有多个过滤器和多个输入通道的情况。

自从 X 形状为 5x100x100 和 dEdO 形状为 10X96x96,深度为 X 等于 5 和深度 dEdO等于 10。所以深度维度不匹配。在这种情况下如何计算卷积?

2个回答

一种可能的选择是填充低维对象以匹配高维对象的大小。填充最常见,因此输入和输出体积将始终具有相同的空间维度。可以用任何值填充其他单元格。最常见的是使用零或其他单元格的平均值,具体取决于过滤器操作。

我做了一些研究,发现为了计算dEdF我需要在输入之间进行卷积X 并平铺 dEdO.

希望小插图有所帮助:

在此处输入图像描述