人工智能 - 如何构造 Transformer 来预测多维时间序列？ - 吾爱随笔录

人工智能深度学习变压器

2021-10-24 21:37:07

有大量信息详细描述了如何将 Transformer 用于 NLP 任务。Transformers 可用于时间序列预测。例如，参见Wu 等人的“用于时间序列预测的对抗稀疏变压器” 。

为了理解，最好根据现有示例复制所有内容。航班数据集https://stackabuse.com/time-series-prediction-using-lstm-with-pytorch-in-python/有一个非常好的 LSTM 示例。

我想我想知道如何首先为单变量（飞行数据集）和后来的多变量时间序列数据实现转换器。应该从 Transformer 架构中删除什么来形成可以预测时间序列的模型？

1个回答

在 Python 中使用 Pytorch 实现了论文（“Adversarial Sparse Transformer for Time Series Forecasting”），在这里。尽管它实现了训练和评估功能，但它似乎缺少运行预测的功能。也许你可以分叉并扩展它。

更新

还有一篇论文，“Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting”，由 Zhou 等人撰写，对单变量和多变量数据进行预测。他们的代码在这里。

其它你可能感兴趣的问题