我参加了一个关于神经网络的入门课程，我有一个关于如何选择每个隐藏层的隐藏单元数量的问题。
我记得教授说过选择隐藏单元的数量没有规则，并且有很多隐藏单元以及许多隐藏层会导致网络过度拟合数据和学习不足。
但是，我仍然有这个问题，假设我们有一个具有n 输入节点的输入层、隐藏单元的第一隐藏层、4隐藏单元的第二层和X单元的输出层的网络5。现在如果我按照教授的话，那就意味着我被允许拥有X = 3或X = 4在第2层。
这实际上允许吗？我们不会有某种信息增益从 4 个（或 3 个）节点传递到 5 个节点吗？示例如下图所示。
节点数比前一层多的层是很常见的。一些例子是：
策略编码器-解码器（自动编码器），其中编码器通常具有节点数量减少的层（直到压缩/编码数据），而解码器的层节点数量增加。
双向循环网络，其中前向节点数减少，后向节点数增加。
生成器，例如从随机向量生成完整图像。
作为一般规则：减少节点数迫使网络过滤/恢复/抽象/总结内部信号信息（丢弃无用信息或噪声），而增加节点数意味着应用当前信息为特定问题/目标生成答案值.
请允许我举一个非常简化的例子：假设你想要一个系统，从动物的照片中回答以下问题：腿的数量？有喙吗？苍蝇？. 净输入是鸟和狗的图像。
网络架构可以有层级递减，直到一个节点决定“是鸟还是狗？”。从这一单项信息（只有一个需要回答所有问题），输出层将有 3 个节点，每个节点回答一个特定的目标问题：数字还是腿？4 如果是狗，2 如果是鸟，等等。