RNN 建模的可行序列长度是多少?

机器算法验证 神经网络 深度学习 lstm
2022-02-15 20:48:39

我正在研究使用循环神经网络 (RNN) 的 LSTM(长期短期记忆)版本来对时间序列数据进行建模。随着数据序列长度的增加,网络的复杂性也随之增加。因此,我很好奇什么长度的序列可以以良好的准确性建模?

我想使用一个相对简单的 LSTM 版本,而没有任何困难的实现最先进的方法。我的时间序列中的每个观察都可能有 4 个数值变量,观察的数量大约在 100.000 到 1.000.000 之间。

1个回答

这完全取决于数据的性质和内部相关性,没有经验法则。但是,鉴于您拥有大量数据,2 层 LSTM 可以对大量时间序列问题/基准进行建模。

此外,您不会通过时间反向传播到整个系列,而是通常到(200-300)最后一步。要找到最佳值,您可以使用网格搜索或贝叶斯优化进行交叉验证。此外,您可以在此处查看参数:https ://github.com/wojzaremba/lstm/blob/master/main.lua 。

因此,序列长度并不会真正影响您的模型训练,但就像拥有更多训练示例一样,您只需保持之前的状态而不是重置它。