这可以称为残差神经网络（ResNet），它是具有跳过连接的神经网络，即跳过层的连接。

这是来自论文Deep Residual Learning for Image Recognition (2015)的截图，这是一篇展示这些架构有用性的重要论文。

这样的网络可以是残差网络或高速公路网络，具体取决于跳过层的底层架构。它们主要用于解决非常深的网络中梯度消失的问题，方法是重用前一层的激活并将它们传递给相邻的层（两到三个跳过）。

• 高速公路网络：（训练非常深的网络，2015）

$z$充当门控功能，它控制要从网络中的前一层传输多少信息。额外的权重矩阵用于估计跳过权重。

• 残差网络：（用于图像识别的深度残差学习，2015）

该架构不涉及门控制器。快捷连接是通过将前一层的输出添加到连接层的输出来实现的。