许多领域（音频、视频、图像文本/NLP）的神经网络都可以取得很好的效果。特别是在 NLP 中使用一种名为 attention 的机制（transformer，BERT）取得了惊人的成果——无需手动预处理数据（文本文档）。
我有兴趣将神经网络应用于时间序列。然而，在这个领域，看起来大多数人通过以下方式应用手动特征工程：
我忽略了什么吗？为什么我找不到使用注意力的人？这不是更方便（自动化）吗？
这是一个有趣的问题。不过，当您说大多数时间序列模型不使用注意力时，我并不完全同意您的看法。但是，网络上的可用文档不如其他应用程序那么多。
LSTNet 是最早提出使用 LSTM + 注意力机制进行多变量预测时间序列的论文之一。Shun-Yao Shih 等人的多变量时间序列预测的时间模式注意。专注于应用专门针对多变量数据的注意力。
参加和诊断利用对医疗时间序列数据的自我关注。该时间序列数据是多变量的，包含患者的心率、SO2、血压等信息。
进一步研究的一个很好的链接是：https ://towardsdatascience.com/attention-for-time-series-classification-and-forecasting-261723e0006d
进一步引用上述论文：“ self-attention 和相关架构已经导致几个时间序列预测用例的改进，但是，它们并没有得到广泛的适应。这可能围绕着几个因素，例如内存瓶颈、编码困难“ _
我不完全同意最后一个说法，但我确实同意注意力的好处还没有引起 NLP 之外的研究人员的注意，达到应有的程度