我了解在编码器-解码器中使用注意力机制来解决序列到序列的问题,例如语言翻译器。
我只是想弄清楚是否可以将注意力机制与标准自动编码器一起用于特征提取,其目标是将数据压缩成潜在向量?
假设我们有一个具有N维的时间序列数据,并且我们想使用具有注意机制的自动编码器(我正在考虑自我注意,因为我认为它在这种情况下更合适 - 我可能错了)以更好地学习输入序列之间的相互依赖关系,因此我们会得到一个更好的潜在向量L。
或者在这种情况下使用递归神经网络或其变体可能会更好。
有没有人有更好的想法或直觉?
我了解在编码器-解码器中使用注意力机制来解决序列到序列的问题,例如语言翻译器。
我只是想弄清楚是否可以将注意力机制与标准自动编码器一起用于特征提取,其目标是将数据压缩成潜在向量?
假设我们有一个具有N维的时间序列数据,并且我们想使用具有注意机制的自动编码器(我正在考虑自我注意,因为我认为它在这种情况下更合适 - 我可能错了)以更好地学习输入序列之间的相互依赖关系,因此我们会得到一个更好的潜在向量L。
或者在这种情况下使用递归神经网络或其变体可能会更好。
有没有人有更好的想法或直觉?