例如，在VGG/OxfordNet中，最终分类层之前的全连接（密集）层的大小为 4096。
同样，在AlexNet
...网络剩余层中的神经元数量由253,440–186,624–64,896–64,896–43,264–4096–4096 –1000 给出。
我的问题是在密集层中使用这个特定数量的神经元的基本原理是什么？
我还没有找到令人满意的解释，因为上述每个示例都使用不同的分辨率图像和不同数量的内核和内核大小，从而生成不同数量的参数——但不管使用相似的密集层。
即使这纯粹是经验性的，我也很想听听您对如何决定的想法。
选择网络架构有点像“魔法”。
他们可能已经尝试了多个不同的参数并选择了一个效果很好的参数（使用交叉验证评估每个参数）。此外，您可以通过研究文献中报告的内容来告知您的选择，以便在类似的任务中很好地工作，并将其用作实验的起点。
这里的一个考虑因素是可以独立设置的权重数量：拥有的权重越多，过度拟合的风险就越大，训练时间也就越长。因此，增加这个数字会使训练花费更长的时间，并且会增加过度拟合的风险，但可能会增加神经网络的表现力。您可能希望数字尽可能小，而不牺牲准确性。因此，您可能会尝试一些小的东西并增加它，直到您停止提高准确性（使用交叉验证进行测量）。