研究人员正在比较的加法注意方法对应于一个具有 3 层的神经网络（它实际上不是直接加法）。计算这将涉及输入向量乘以一个矩阵，然后乘以另一个矩阵，然后计算类似 softmax 的东西。点积的智能实现不会破坏它的整个矩阵乘法算法，它基本上是一个紧凑的、易于并行化的循环。

在附加注意中（如Bahdanau 等人 (2014) 的论文中所述），对齐模型$a$由前馈神经网络表示。如果您查看他们的附录，他们实际上将其实现为

$$e_{ij} = V_a^T \tanh \left(W_a s_{i-1} + U_a h_j\right) = V_a^T \tanh \left(Q + K\right).$$

相比之下，在点积注意力中（如Vaswani 等人 (2017) 的论文中所述），对齐模型实现为

$$e_{ij} = W_Q s_{i-1} \left(W_K h_j\right)^T = Q K^T.$$

计算优势是点积对齐模型只有两个权重矩阵，只需要矩阵乘法，存在高度优化的代码。