我在时间序列数据集上训练了 LSTM 网络。预测似乎遵循数据集。事实上,它们几乎是实数值的右移形式。因此,在我看来,它不提供任何预测能力,因为仅及时移动信号会导致低 RMSE 但没有用。
如何正确评估时间序列模型?
我在时间序列数据集上训练了 LSTM 网络。预测似乎遵循数据集。事实上,它们几乎是实数值的右移形式。因此,在我看来,它不提供任何预测能力,因为仅及时移动信号会导致低 RMSE 但没有用。
如何正确评估时间序列模型?
Rob Hyndman 的网站上可能详细解释了评估时间序列预测的最佳总结。我通常使用在 Keras 中烘焙的平均绝对百分比误差。但是,我在不同的设置中发现,如果 MAPE 与Adam 优化结合使用,则可以防止神经网络收敛。我在均方根误差 (RMSE) 方面取得了更好的成功。由于您对此经验不佳,也许您可以使用对称 MAPE。
如果您正在评估点估计(即单数估计),那么建议您使用适当的评分规则。一些指标会引起“诚实”的估计,而另一些则不会。Savage 提供了正确评分规则的特征。大多数人使用平方误差,对数。
M-Competitions 或微预测等竞赛网站已转向评估分布估计,而不是点估计。您还可以通过搜索“时间序列 Elo 评级”找到体面的基准,至少对于单变量预测。
正如 JQ Veenstra 指出的那样,您的评估方法很大程度上取决于您正在估计的特定类型的时间序列模型。看看以下几点。
通常,您的模型中应该有一组不相关的残差。你可以测试一下。您可以通过从数据子集开始递归地估计模型并在预测每个重新估计的模型时查看错误来测试模型的预测能力。对于预测的一般指导,我推荐 Granger、Clive WJ 和 Paul Newbold (1986) -Forecasting Economic Time Series - Academic Press 1986,它有点过时,但涵盖了预测评估的许多方面。Elliott, G. 和 Timmermann, A (2016)。普林斯顿大学出版社的《经济预测》可能有点数学,但提供了全面的预测报道。本文中对特定领域的引用,可能会给您对特定预测方法的评估提供更多指导。