我对使用 RNN 对状态进行编码的 RL 系统中的观察结果感到有些困惑。我读了几篇像this和this这样的论文。如果我要使用一系列原始观察（或特征）作为 RNN 的输入来编码系统的状态，我无法在情节中间更改我的网络的权重。那是对的吗？否则，当权重改变时，隐藏状态向量会不同。

这是否意味着在 RL 中使用 RNN 必须在更改权重之前存储整个剧集？

那么如何将 RNN 中的隐藏状态考虑到 RL 中呢？有没有关于 RNN-RL 的好教程？