循环神经网络 (RNN) 可以将序列用作输入或输出，或两者兼而有之。

即使是一个简单的单层 RNN 也是有效的“深度”，因为它必须解决与多层非递归网络类似的问题。这是因为 RNN 中的反向传播逻辑必须考虑输入和目标之间的延迟，这可以通过时间反向传播来解决——本质上是为第一个输入和最后一个输出之间的每个延迟时间步长在网络中添加一个层。

近年来，通过使用诸如门控循环单元(GRU) 或长短期记忆(LSTM) 等“门控”技术，RNN 架构变得更加复杂。它们有多个可训练的参数——每个神经元 3 或 4 个，而且原理图比前馈网络更复杂。它们已被证明在实践中非常有效，因此这种额外的复杂性似乎确实得到了回报。

尽管您可以在 Theano 或 Tensor Flow 等库中自己研究和实现 RNN，但一些神经网络库已经实现了 RNN 架构（例如Keras、torch-rnn）