组卷积中的参数数量如何减少?

人工智能 卷积神经网络 卷积 过滤器
2021-10-29 13:37:54

我想我不太了解组卷积。

假设您有 2 个组。这意味着参数的数量将减少一半。所以,假设你有一个图像和 100 个通道,过滤器大小为3×3,您将有 900 个参数(忽略此示例的偏差)。如果你把它分成两组,如果我理解得很好,你将有 2 组 50 个通道。

这可以通过并行运行 2 个组来更快,但是参数数量如何减半?不是每个组都有509=450参数,所以,你总共还有 900 个参数?它们是否意味着反向传播(在每个分支中)经过的参数数量减半?

因为总的来说,我看不出它是如何减少的。此外,使用更多组(甚至使用 100 组,每组 1 个频道)是否有不利之处?

1个回答

参数个数是filters*input_channels*output_channels

在输入和输出通道之间形成组。

所以你得到的不是input_channels*output_channels两组(input_channels/2)*(output_channels/2) + (input_channels/2)*(output_channels/2)