我目前已经在一些自定义数据上微调了 BERT 模型，我想进行更多的实验来提高准确性。

我的原始数据集由一对句子组成（如 MRPC 数据集）。我想通过添加一些数字特征（我将单独计算）来提高分类的准确性。我想知道在我已经对它进行微调之后是否可以使用它来训练 bert？

我读过人们过去提出的一些解决方案，例如： “提取词嵌入（Bert GITHUB 上的extract_features.py）并将其与我的自定义数据相结合以提供单层 CNN 网络。” 我不想通过仅从预训练模型中提取特征而失去 BERT 网络为我提供的准确性。

那么有什么方法可以创建一种混合模型，首先微调 BERT，然后添加我的特征并将其输入另一个模型以改进分类？

附言

由于我是 tensorflow 和深度学习的新手，如果我的理解存在根本性错误，请告诉我。谢谢您的帮助