LSTM 架构是 RNN 的子类别吗？还是它们完全不同？
文学似乎对此并不统一。 这个图似乎解释了模型是替代品，但我认为它们不是这样（LSTM 是 RNN 的子类别）
LSTM 作为 RNN 的一个子类别在关于 LSTM的 Wikipedia 文章中提到：
长短期记忆 (LSTM) 是一种人工循环神经网络 (RNN) 架构...
LSTM 是 RNN 的子类别吗？
人工智能
术语
循环神经网络
长短期记忆
2021-10-29 01:12:46
1个回答
维基百科的文章在技术上更正确，因为术语 RNN 被正式理解为“具有循环连接的神经网络”，其中包括许多与此描述相匹配的架构，包括 LSTM。
然而，“RNN”被用作一种“Vanilla RNN”或“基本RNN”的简写也很常见，其中一个或多个层具有将层连接到自身的权重（它自己的激活来自连接到外部输入在)，并且没有其他门或特殊组合，只有那些循环连接。
奇怪的是，这种基本的基于层的 RNN 架构并未在 RNN 的Wikipedia 页面上的所有选项中列出- 可能最接近的是 Elman 网络和 Jordan 网络，它们是实现循环连接的方法。这是一个有效的架构选择，并且可以是有效的。LSTM 和 GRU 架构在处理更长的序列和在训练时保留重要信号（例如匹配文本处理中的开始和结束引用）方面对其进行了改进。
其它你可能感兴趣的问题