简单卷积层中的正确偏差数是多少?这个问题讨论得很好,但我仍然不太确定。
比如说,我们有 (3, 32, 32)-image 并应用 (32, 5, 5)-filter 就像在关于卷积网络中的偏差的问题中一样
层内核中的权重总数通常等于. 现在让我们计算偏差。上面的链接表明偏差的总数是,这是有道理的,因为权重在所有输出单元之间共享,因此每个输出特征图作为一个整体只有一个偏差是很自然的。
但另一方面:我们分别对输出特征图的每个单元应用激活函数,所以如果我们对每个单元有不同的偏差,它们不会相加,所以数量 代替 也有道理(这里 是输出特征图的高度或宽度)。
如我所见,第一种方法被广泛使用,但我也在一些论文中看到了第二种方法。
所以, ( 或者 ?