在 RNN 中训练它，您需要将其推出，并输入输入历史和预期结果历史。
这看起来不像是一幅真实的大脑图景，因为这需要，例如，大脑在许多时间步长内存储进入它的每一种感觉的完美历史。
那么有没有不需要这个历史的 RNN 的替代品呢？也许存储差异或什么？或者存储一些蓄电池？
也许有一种不需要保留这段历史的 RNN 计算方法？
是否有不需要了解输入历史的 RNN 替代方案？
人工智能
循环神经网络
2021-11-01 23:17:56
2个回答
您不一定需要将输入推广到 RNN；这样做可以更容易地优化计算（如果每个批次的序列长度相同），但这不是必需的。此外，RNN（顺便说一下，大脑）不一定会按原样记住输入历史。相反，历史是通过 RNN 的单元状态（或多个状态，在 LSTM 和其他具有多个状态的 RNN 单元架构的情况下）编码的。神经图灵机 (NMT) 和差分神经计算机通过使用更大的“内存”存储（以矩阵的形式）扩展了该概念。
循环神经网络作用于输入序列，它不需要只是一个时间序列，例如考虑一个字符序列，如一篇文章或一本书。一旦对输入序列进行训练，您就可以预测前一个以及某个时间步长的输入向量的下一个值。