如今，有一种趋势是使用“深度”RNN 架构，即垂直堆叠的 RNN。Bengio 的书中的 RNN 章节这些网络在实践中似乎运行良好。
使用垂直堆叠的 RNN 层的直觉是什么（除了它们通过增加 # 参数来增加容量这一明显事实之外）？
堆叠 RNN 背后的重要性/直觉
数据挖掘
深度学习
rnn
2021-09-18 22:21:45
1个回答
所有神经网络都可以通过堆叠层来增加表达能力和表征能力。每个后面的层都可以学习对前面的层进行非线性加权。这些非线性允许近似任何函数。在循环神经网络 (RNN) 的情况下，它随着时间的推移而起作用。随着时间的推移，堆叠 RNN 学习功能的能力越来越强。
其它你可能感兴趣的问题