我看过一些帖子,其中讨论的重点是神经网络中神经元总数的大小的影响,尤其是关于网络过度拟合或欠拟合的可能性。我得到的一般想法是,很少有神经元欠拟合,而太多神经元会过拟合,这是有道理的。
再想一想,我认为也有必要谈谈每层神经元数量的影响。我的直觉告诉我,即使深度神经网络中的神经元数量是“正确的数量”(这是特定于问题/模型的),如果仅 1 个隐藏层中的神经元数量很大并且其余的层都很小,那么我希望该模型与具有相同隐藏层数和相同神经元总数的模型相比表现不佳。
那么问题来了,在深度神经网络的过拟合、欠拟合和性能分析中,神经元总数的大/小和每层神经元的大/小,分别有什么区别?