为什么 RNN 经常只使用一个隐藏层?

人工智能 神经网络 循环神经网络
2021-10-30 11:04:56

我猜对了吗,RNN 通常只有一个隐藏的神经元层?这有什么原因吗?每个单元格中具有多个隐藏层的 RNN 会更差吗?谢谢!!

1个回答

当然,您可以在 RNN 中拥有多个隐藏层。确定隐藏单元的最常见方法之一是从一个非常小的网络(一个隐藏单元)开始并应用 K 折交叉验证(k 超过 30 将提供非常好的准确性)并估计平均预测风险。然后,您将不得不重复该过程以增加不断增长的网络,例如 1 到 10 个隐藏单元或更多(如果需要)。

但是,根据我的经验,如果你有兴趣获得尽可能高的准确率,你应该从少量隐藏层和更简单的结构开始,如果你对相应的准确率不满意,那么我们应该继续提高学习率通过固定但小的小步骤,每次都重新开始训练。