对于上下文，在本文中

已经提出了几种 RNN 变体，例如长短期记忆 (LSTM) [10, 18] 和门控循环单元 (GRU) [5] 来解决梯度问题。然而，在这些变体中使用双曲正切和 sigmoid 函数作为激活函数会导致层上的梯度衰减。因此，构建和训练基于深度 LSTM 或 GRU 的 RNN 网络实际上是困难的。相比之下，使用 非饱和激活函数（如 relu ）的现有 CNN可以堆叠成一个非常深的网络（例如，使用基本卷积层的 20 多层和使用残差连接的 100 多层