如何在卷积层中添加偏差

数据挖掘 美国有线电视新闻网
2022-01-21 14:29:02

在典型的神经网络中,偏差通常是这样添加的

 v = activation ( w1*x1+ ... + Wb*b)

但是,我不确定它是如何在卷积层中完成的。我的一个想法是,它是在神经元的每个卷积操作中添加的。那是对的吗?

1个回答

通常有两种方式将偏差添加到卷积层:

  • 捆绑偏差:每个内核共享一个偏差

  • Untied bias:你使用每个内核和输出使用一个偏差

检查博客文章比较两者。

除此之外,在 CNN中,偏见并不是真正需要的。有许多流行的实现完全忽略它(例如ResNet-152)。