在最简单的情况下，使用 Transformers 进行回归只是改变损失函数的问题。

使用第一个技术标记的表示作为分类器输入的类 BERT 模型。您可以用回归器替换分类器，几乎什么都不会改变。来自回归器的错误将传播到网络的其余部分，您既可以训练回归器，也可以微调/训练底层 Transformer。

另外，我不认为层规范化会导致严重的信息丢失。当网络训练时它已经存在，所以其余的网络参数需要处理，这应该不是问题，因为梯度“非常清楚”有一个归一化层。