下面的两份技术报告都明确地将 RNN 称为“循环网络（工作）”。

1. 鲁梅尔哈特，大卫 E；Hinton、Geoffrey E 和 Williams、Ronald J（1985 年 9 月）。通过错误传播学习内部表示。技术。代表。ICS 8504。加利福尼亚州圣地亚哥：加利福尼亚大学认知科学研究所。

2. 乔丹，迈克尔一世（1986 年 5 月）。串行订单：一种并行分布式处理方式。技术。代表。ICS 8604。加利福尼亚州圣地亚哥：加利福尼亚大学认知科学研究所。

Jordan 是 Rumelhart 的学生，所以我倾向于将1确定为介绍 RNN 的论文，但需要注意的是，“Recurrent Nets”部分的第一句为1：

到目前为止，我们将自己限制在前馈网络中。这似乎是一个很大的限制，但正如 Minsky 和 ​​Papert 指出的那样，对于每个循环网络，都有一个具有相同行为的前馈网络（在有限的时间段内）。

这很有趣，有两个原因：

1. 在这句话之后，他接着展示了如何展开 RNN 并将错误传播回来。不过，还不是成熟的 BPTT。
2. 这句话表明，至少自 1969 年以来，重复（和展开）的想法就已经存在。

不幸的是，我无法访问 Minsky 和 ​​Papert (1969)，因此我无法进一步遵循这条路线。

Hopfield 网络是 RNN 的一个特例，于 1982 年首次提出：https ://www.pnas.org/content/79/8/2554

否则（无耻插件，我是作者）可以在这里找到 NLP 的非技术时间表：https ://blog.exxcellent.de/ki-machine-learning

Warren McCulloch 和 Walter Pitts 在他们的论文 McCulloch, WS, Pitts, W. 中讨论了循环神经网络。神经活动中固有思想的逻辑演算。数学生物物理学公报 5, 115–133 (1943)。https://doi.org/10.1007/BF02478259。

他们用以下段落结束了他们的介绍：

神经系统包含许多循环路径，其活动如此再生任何参与者神经元的兴奋，以至于对过去时间的引用变得不确定，尽管它仍然意味着传入活动随着时间的推移实现了某一类配置中的一个。通过递归函数对这些含义进行精确说明，并确定可以体现在神经网络活动中的含义，从而完成了该理论。

他们的论文包含一个标题为：

2. 理论：没有圆圈的网。

他们在其中介绍了前馈（没有循环的网络）和循环（有循环的网络）网络，以及下一节，标题为

3. 理论：带圆圈的网。

他们在其中证明了一些关于循环神经网络的定理。

Marvin Minsky 引用了它们，并在他的著作《计算：有限和无限机器》（1967）中广泛讨论了递归神经网络。普伦蒂斯·霍尔，国际标准书号：0131655639,9780131655638

我不确定，是否有早期的参考资料。

根据这篇元论文，今天的“vanilla”RNN 是基于 Elman 在具有动态记忆的网络上的工作：及时发现结构