变形金刚在最近的研究中进行了大量修改。但究竟是什么让变压器成为变压器？变压器的核心部分是什么？是self-attention、parallelism还是别的什么？
是什么让变压器成为变压器？
人工智能
深度学习
定义
变压器
2021-10-22 21:33:03
1个回答
这个问题没有一个答案，但有人可能会争辩说，变压器严重依赖
- 将每个输入转换为查询、键和值的潜在子空间，以生成注意力分数
- 注意力向量（多头）的转换池，据此模型可以捕获更丰富的解释，因为输入嵌入的不同部分可以参与链接回每个输入的不同的每个头子空间