注意：以下陈述是关于前馈神经网络的。如果您对其他内容感兴趣，请告诉我。

有一篇论文证明一个隐藏层就足够了。所以理论上你可以用一个隐藏层来表示任何具有多层的网络。不过我不记得标题了。另外我不记得它是如何扩展的（每个添加的层需要多少个额外的节点）。

在实践中，无论如何，这是一个非常不同的故事：

1. 您需要在可接受的挂钟时间内训练网络，
2. 能够将东西放入内存
3. 您对一次推理的最长时间有限制
4. 您需要通过训练算法找到权重

有趣的是，我可以说更广泛的网络通常有更多的过度拟合/内存限制问题，而更深的网络在最大推理时间方面有更多问题。

微软有一篇很好的论文，他们在其中训练了第一个超深度网络。许多论文紧随其后：

他，凯明，等。“用于图像识别的深度残差学习。” IEEE 计算机视觉和模式识别会议论文集。2016 年。

一个主要的主张是，更深层次的网络可以学习更复杂的特征。我不记得过度拟合有多大问题。另一个重要的见解是，跳过连接对于真正的深度网络（> 20 个学习层）至关重要。