隐藏单元的数量是增加模型容量的超参数。因此，增加它不仅会增加时间和内存需求，还会导致过度拟合（另请参阅深度学习手册中的第 11.4.1 节）。

随着神经网络中隐藏层的增加，与节点相关的权重也会增加。它们增加了模型的内存需求。此外，由于权重更多，需要更多时间来优化它们，因此会增加处理时间。
随着层数的增加，我们的模型精度开始下降，原因是over-fitting.

ResNet是一个很好的例子，他们在极深的神经网络中跳过层以实现出色的性能。