论文Attention Is All You Need描述了具有编码器和解码器的转换器架构。

但是，对于这样的架构，我不清楚要最小化的成本函数是什么。

考虑一个翻译任务，例如，给出一个英文句子$x_{english} = [x_0, x_1, x_2, \dots, x_m]$，转换器将句子解码为法语句子$x_{french}' = [x_0', x_1', \dots, x_n']$. 假设真正的标签是$y_{french} = [y_0, y_1, \dots, y_p]$.

变压器的目标函数是什么？是 MSE 之间$x_{french}'$和$y_{french}$? 它有任何权重正则化项吗？