在神经网络中,神经元的数量通常在层与层之间变化多少?

人工智能 神经网络 深度学习 超参数 人工神经元 层数
2021-11-03 13:29:26

在神经网络中,神经元的数量通常在层与层之间变化多少?

请注意,我不是在问如何找到每层的最佳神经元数量。

作为一个没有实际编程神经网络经验的硬件设计工程师,我想收集一些例子

  1. 隐藏层中的神经元数量通常与输入层中的神经元数量相差多少?

  2. 隐藏层神经元数量与输入层神经元数量的最大偏差是多少?

  3. 您是否经常看到神经元数量出现大幅飙升?

这可能取决于应用程序,所以我希望听到尽可能多的人的声音。请告诉我你的经历。

2个回答
  1. 输入层将始终具有输入数据的维度(对于我能想到的每个模型)。

  2. 见上文,隐藏层之间的偏差可能很大。例如,第一个隐藏的 128 个,其余的 64 个(反之亦然)。

  3. 特别是这个问题将始终取决于问题。它是通过架构搜索或直觉/经验结合一些探索性搜索来决定的。

这个问题没有正确答案。但是,我想向您指出一个关于 CV 的答案,该答案解决了您的问题的意思

我想提请您注意的已接受答案中有两点是:

a) 有一些经验得出的经验法则,其中最常依赖的是“隐藏层的最佳尺寸通常介于输入层的尺寸和输出层的尺寸之间”

b) 总而言之,对于大多数问题,通过仅使用两条规则设置隐藏层配置,可能可以获得不错的性能(即使没有第二个优化步骤): (i) 隐藏层数等于 1;(ii) 该层中神经元的数量是输入和输出层中神经元的平均值。

线程中的其他答案也非常有见地。我会建议你仔细阅读答案并找出标准偏差,并假设一切正常,因此你会有你的分布。