循环神经网络(RNN) 是一种人工神经网络，它包含后向或自连接，而不是像前馈神经网络 (FFNN) 中那样仅具有前向连接。因此，形容词“recurrent”指的是这种反向或自连接，它们在这些网络中创建循环。

可以使用随时间的反向传播(BBTT)来训练 RNN ，这样这些反向或自连接“记忆”先前看到的输入。因此，这些连接主要用于跟踪输入序列元素之间的时间关系，这使得 RNN 非常适合序列预测和类似任务。

有几种 RNN 模型：例如，带有 LSTM 或 GRU 单元的 RNN。LSTM（或 GRU）是一种 RNN，其单个单元执行比“普通 RNN”中的单元更复杂的变换，后者执行输入的线性变换，然后对其应用非线性函数（例如 ReLU）线性变换。理论上，“plain RNN”与带有 LSTM 单元的 RNN 一样强大。在实践中，它们遭受“梯度消失和爆炸”问题。因此，在实践中，使用 LSTM（或类似的复杂循环单元）。

循环神经网络 (RNN) 是一类受大脑中神经元循环连通性启发的人工神经网络架构。它使用迭代函数循环来存储信息。

与使用本书图片的传统神经网络的区别：

并且，一个 RNN：

注意区别——前馈神经网络的连接不形成循环。如果我们放宽这个条件，并允许循环连接，我们就会得到循环神经网络（RNN）。您可以在架构的隐藏层中看到这一点。

虽然多层感知器和 RNN 之间的差异似乎微不足道，但对序列学习的影响却是深远的。MLP 只能从输入向量映射到输出向量，而 RNN 原则上可以从先前输入的整个历史映射到每个输出。实际上，与 MLP 的通用逼近理论的等效结果是，具有足够数量隐藏单元的 RNN 可以将任何可测量的序列到序列映射逼近到任意精度。

重要外卖：

循环连接允许先前输入的“记忆”保留在网络的内部状态中，从而影响网络输出。

谈论优势是不合适的，因为它们都是最先进的，并且特别擅长某些任务。RNN 擅长的一大类任务是：

序列标记

序列标记的目标是将从固定字母表中提取的标签序列分配给输入数据序列。

例如：用口语转录一系列声学特征（语音识别），或用手势转录一系列视频帧（手势识别）。

序列标注中的一些子任务是：

序列分类

标签序列被限制为长度为 1。这被称为序列分类，因为每个输入序列都分配给一个类。序列分类任务的示例包括识别单个口语作品和识别单个手写字母。

细分市场分类

段分类是指目标序列由多个标签组成的任务，但标签的位置——即标签所应用的输入段的位置——是预先知道的。