BERT 不能用于下一个词的预测，至少在掩蔽语言建模研究的当前状态下不能。

BERT 接受了掩码语言建模任务的训练，因此您无法“预测下一个单词”。你只能屏蔽一个单词，并要求 BERT 在给定句子的其余部分（被屏蔽单词的左侧和右侧）的情况下对其进行预测。

这样，使用 BERT，您就不能像普通的自回归语言模型那样对文本进行采样。但是，BERT 可以被视为马尔可夫随机场语言模型，并且可以用于文本生成。有关详细信息，请参阅文章BERT 有嘴，它必须说话：BERT 作为马尔可夫随机场语言模型。作者发布了源代码和Google Colab 笔记本。

更新：MRF 文章的作者发现他们的分析存在缺陷并且 BERT 不是 MRF，请参阅此

更新 2：尽管不用于下一个单词预测，但有人尝试以这种方式使用 BERT。在这里你可以找到一个使用 BERT、XLNet、RoBERTa 等进行下一个单词预测的项目。