我有一个关于预训练部分（特别是蒙面语言模型）的问题。
在示例中，让我们在这个短剧中坚持即兴创作，通过掩盖单词improvisation，在应用 BERT（之后是 FFNN 和 Softmax）之后，通过查看每个可能的英语单词的概率，我们能够正确预测蒙面词是即兴创作。
是否可以通过使用我自己的示例来实际使用它？我想知道我是否可以输入不同语言的句子（来自多语言模型），并有一个排序列表，其中包含在原始句子中被屏蔽的最可能单词。如果可能，需要调整什么？
任何帮助将不胜感激。
BERT可以用于预测单词吗？
数据挖掘
神经网络
深度学习
伯特
变压器
注意机制
2022-02-20 15:45:21
2个回答
pip install transformers
然后试试这个
from transformers import pipeline
nlp = pipeline("fill-mask", model="bert-base")
nlp(f"This is the best thing I've {nlp.tokenizer.mask_token} in my life.")
您可以model='bert-base-uncased'使用transformers.pipeline：
pip install transformers
from transformers import pipeline
unmasker = pipeline('fill-mask', model='bert-base-uncased')
unmasker("a [MASK] in the watergate saga")
这适用于我在 Google Colab 上。
其它你可能感兴趣的问题