我想将 Bert 用于 nlp 任务。但我还想包含其他功能。
据我所知，通过微调，只需更改标签并重新训练分类层。
有没有办法使用预训练的 Bert 模型并包含其他功能？
带有附加功能的 Bert 微调
数据挖掘
nlp
伯特
2021-09-25 12:38:06
1个回答
要使用 BERT 添加附加功能，一种方法是使用现有的 WordPiece 词汇并运行预训练以对附加数据进行更多步骤，并且它应该学习组合性。WordPiece 词汇基本上可以用来创建以前不存在的附加功能。
包含附加功能的另一种方法是在训练时添加更多词汇。以下方法是可能的：
- 只需
"[unusedX]"用您的词汇表替换标记即可。由于这些没有被使用，它们被有效地随机初始化。 - 将新词汇添加到词汇文件的末尾，并更新. 稍后，编写一个脚本，该脚本生成一个与预训练检查点相同的新检查点，但具有更大的词汇量，其中新嵌入是随机初始化的（对于初始化，我们使用了. 这可能需要使用一些和调用。
vocab_sizebert_config.jsontf.truncated_normal_initializer(stddev=0.02))tf.concat()tf.assign()
请注意，我自己没有尝试过任何这些方法。