注意力对标准自动编码器有帮助吗

机器算法验证 神经网络 特征选择 降维 自动编码器 注意力
2022-03-22 15:17:20

我了解在编码器-解码器中使用注意力机制来解决序列到序列的问题,例如语言翻译器。

我只是想弄清楚是否可以将注意力机制与标准自动编码器一起用于特征提取,其目标是将数据压缩成潜在向量?

假设我们有一个具有N维的时间序列数据,并且我们想使用具有注意机制的自动编码器(我正在考虑自我注意,因为我认为它在这种情况下更合适 - 我可能错了)以更好地学习输入序列之间的相互依赖关系,因此我们会得到一个更好的潜在向量L

或者在这种情况下使用递归神经网络或其变体可能会更好。

有没有人有更好的想法或直觉?

1个回答

我认为注意力会有所帮助。请参考这个答案

您可以通过多种方式将注意力与自动编码器结合起来。最简单的方法就是借用 BERT 的想法,但让中间层更薄。