有监督和无监督之间的区别在这里有点棘手。BERT 预训练对于下游任务是无监督的，但预训练本身在技术上是一个有监督的学习任务。BERT 被训练来预测在输入中被屏蔽的词，因此目标词在训练时是已知的。因此，无监督微调一词在这里有点令人困惑。

如果我们以一种聪明的方式使用 BERT（例如，使用一种称为iPET的方法），我们可以利用它的语言建模能力在（几乎）零样本设置中执行一些任务，这基本上意味着 BERT 学会了在一种无人监督的方式。但是，如果这可以称为无监督微调，这是有争议的。

BERT 当然可以通过持续的预训练以无监督的方式进行微调。它可以被视为模型的域适应方式，通常再次跟随有监督的微调。想象一下，你想对法律文本执行一项任务，因此你可以首先使用大量纯文本使 BERT 适应法律文本，然后使用更小的标记数据对其进行微调。