我正在看关于注意力模型和全球注意力的 Luong 论文。我了解如何根据编码器隐藏状态和解码器隐藏状态的点积计算对齐向量。所以这一切都是有道理的。

我的问题是，对齐分数张量的维度应该是多少？如果我有批量数据，我基本上会为隐藏状态下的每个时间步计算一个分数，对吧。那么对齐向量的维度应该是 [sequence length, 1] 还是类似的？然后我会对这个对齐向量进行softmax，并将它乘以批处理中的每个元素来计算上下文向量，对吧。

同样，我的关键问题是对齐分数向量或张量的维度应该是多少。谢谢。