当目标接近 0 时,LSTM 回归偏差会增加

数据挖掘 时间序列 lstm 预测 偏见
2022-03-01 02:52:27

我已经为时间序列预测建立了一个 LSTM 模型。结果还不错,平均归一化误差为 7%。但是,这种归一化的偏差显示了一个清晰的模式:要预测的值越接近 0,偏差就越高,如下图所示:

在此处输入图像描述

注 1:为清楚起见, TruePred值在图中按比例缩放

注 2偏差不是恒定的,未归一化的偏差(或偏差)显示相同的模式

该模型:

* 1 LSTM layer with 256 hidden units and no peep-holes
* Dropout in LSTM with keep_prob = 0.8
* One Dense Layer after the LSTM with 128 units with relu activation
* One Dense Layer after the first dense with 1 unit (predictor)
* Adam optimizer, with learning rate = 0.001
* Loss: Mean Squared Error

有什么提示吗?

1个回答

我找到了解决这个问题的方法:缩放特征和标签。

通过对特征和标签执行最小-最大缩放,曲线变为:

在此处输入图像描述

错误仍然显示与目标值相关的模式,但归一化错误现在非常低......

我认为这是规范化功能的好处的一个很好的例子......