有状态 LSTM:使用不同的训练窗口

数据挖掘 神经网络 lstm rnn
2022-02-25 02:13:59

如果在一个时期内我输入 [0-9],[10-19],[20-29],[30-39]...[990-999],那么有状态 LSTM(或一般的 LSTM)是否有意义(带有相应的标签/Y 数据)来自我的数据集。当我展示了那个时代的所有数据时,我会打电话给model.reset_states()

在那个时代之后,我可以将窗口向前移动一些任意量,例如 2,然后我输入 [2-11],[12-21],[22-31],[32-41]...[ 982-991]

我会为 99 个批次执行此操作(批次中的最终序列现在长度为 8,因此我无法制作完整的序列)。

这样做有意义吗?这样,网络从不同的起点/终点学习序列,并具有不同的输出/Y 值进行训练。

1个回答

我看不出有什么问题。事实上,这听起来像是一种很好的数据增强形式。

听起来您正在使用 1 的批大小进行训练,这可能会很慢。您可以考虑以类似的方式创建批次,其中批次的第一个元素是序列 1-10、11-20、...,批次的第二个元素是 2-12、13-23、... ., 一直到 9-19, 10-29, ...