我正在阅读论文Attention Is All You Need。

编码器的最后一步似乎是 LayerNorm(relu(WX + B) + X)，即添加 + 归一化。这应该会导致$n$X$d^{model}$矩阵，其中$n$是编码器输入的长度。

我们如何转换这个$n$X$d^{model}$矩阵成键$K$和价值观$V$输入解码器的编码器-解码器注意步骤？

请注意，如果$h$是模型中注意力头的数量，维度$K$和$V$都应该是$n$X$\frac{d^{model}}{h}$. 为了$h=8$，这意味着我们需要一个$n$X$\frac{d^{model}}{4}$矩阵。

我们是否只是简单地添加一个额外的线性层来学习$d^{model}$X$\frac{d^{model}}{4}$权重矩阵？

还是我们使用最后的 Add & Norm 层的输出，并且简单地使用第一个$\frac{d^{model}}{4}$矩阵的列并丢弃其余部分？