神经网络中的过拟合和欠拟合:神经元总数或每层神经元数是否更相关?

机器算法验证 机器学习 神经网络
2022-03-17 07:11:08

我看过一些帖子,其中讨论的重点是神经网络中神经元总数的大小的影响,尤其是关于网络过度拟合或欠拟合的可能性。我得到的一般想法是,很少有神经元欠拟合,而太多神经元会过拟合,这是有道理的。

再想一想,我认为也有必要谈谈每层神经元数量的影响。我的直觉告诉我,即使深度神经网络中的神经元数量是“正确的数量”(这是特定于问题/模型的),如果仅 1 个隐藏层中的神经元数量很大并且其余的层都很小,那么我希望该模型与具有相同隐藏层数和相同神经元总数的模型相比表现不佳。

那么问题来了,在深度神经网络的过拟合、欠拟合和性能分析中,神经元总数的大/小和每层神经元的大/小,分别有什么区别?

1个回答

对于欠拟合和过拟合的讨论,还有其他重要因素需要考虑。它们是正则化技术。例如,L1、L2 正则化、池化和数据论证。

所以,这不仅仅是关于神经元的数量。

在最近的工作中,人们喜欢建立一个大的网络,同时对其进行大量的正则化。例如,模型的参数数量大于数据点的数量是可以的。


对于一层或大量层中的大量神经元讨论:

理论上,具有一个隐藏层的 MLP 和具有无限个神经元的隐藏层可以逼近任何函数。

在实践中,特别是在视觉问题中,人们喜欢在一层中拥有更多的层而不是大量的神经元(更喜欢深而不是宽)。

查看此帖子了解详情。

为什么神经网络变得更深,而不是更宽?


EfficientNet 论文对于寻找更好的网络结构很有趣。

EfficientNet:重新思考卷积神经网络的模型缩放