神经网络隐藏层的节点数

机器算法验证 机器学习 神经网络
2022-03-12 01:12:06

我有一个具有 3 个隐藏层的神经网络,我不确定每层隐藏节点的数量。

隐藏层之间的隐藏节点数量应该保持不变,例如每层 500 个节点,还是应该减少或减少?

关于如何选择每个隐藏层的节点数有一些规则吗?

1个回答

在https://stackoverflow.com/questions/10565868/what-is-the-criteria-for-choosing-number-上有一个关于这个问题(以及“多少隐藏层?”的问题)的精彩文章of-hidden-layers-and-nodes-in-hidden-la发现几乎没有一成不变的规则可能会令人失望,如果有,它们通常在数学或逻辑上是可疑的。此外,该线程中的另一个答案引用了此网页:ftp://ftp.sas.com/pub/neural/FAQ3.html#A_hu

或者,根据训练网络的计算密集程度,您可以使用各种优化算法来尝试找到它。

至于层大小是否应该保持不变的更普遍的问题,我建议将其视为降维过程。您是否希望您的数据被压缩成较低维度的形式并丢失一些信息?这可能是积极或消极的事情。对于图像压缩,这是一个要求。请参阅http://cs.stanford.edu/people/eroberts/courses/soco/projects/neural-networks/Applications/imagecompression.html以获取有关具有图像压缩的“瓶颈”层的参考资料。

我想要大 -> 小 -> 大或某种类型的问题可能涉及我想要压缩然后从中学习特征的高维数据源。如果您认为这描述了您的问题,那么使用更多隐藏单元、输入更少单元、然后再次扩展层可能是一种有效的方法。