根据我所学到的,我们在 CNN 的 Conv 层中使用多个过滤器来学习不同的特征检测器。但是由于这些过滤器的应用类似(即滑动并乘以输入区域),它们在训练期间不只是学习相同的参数吗?因此使用多个过滤器会是多余的吗?
卷积层中的多个过滤器不会在训练期间学习相同的参数吗?
机器算法验证
神经网络
卷积神经网络
卷积
筛选
2022-01-20 12:50:16
3个回答
我找到了这个问题的答案: https ://www.quora.com/Why-does-each-filter-learn-different-features-in-a-convolutional-neural-network
它在这里说:“...(优化)算法发现,如果两个过滤器具有相似的权重和偏差,则损失不会减少,因此它最终会更改其中一个过滤器(的权重和偏差)以减少损失学习新功能。”
谢谢你的回答。欣赏它:)
我在理解这个事实时也有同样的困惑。初学者会感到困惑,因为这本书明确没有提到过滤器是不同的。
因为这些过滤器的应用类似
过滤器的应用类似,但矩阵中单元格的值与其他过滤器不同。所以他们从图像中提取不同的特征。
他们不会只是在训练期间学习相同的参数吗
不,他们不学习相同的参数,因为过滤器现在不同了。所以使用多重过滤器并不是多余的。
此外,由于过滤器的权重基本上是随机值,因此每个过滤器很可能会收敛到其附近的局部最小值。我想这可以确保过滤器不完全相同,但过滤器的某些部分可能存在一些密切相关的功能。
其它你可能感兴趣的问题