如果我想学习常量，例如周 -> 7 天、鸡 -> 2 条腿、天 -> 24、1 公里 -> 1000 米小时等，是否有可能从经过训练的 BERT 模型中提取这些信息正确的数据集，比如维基百科的话？如果不是，我必须使用什么型号？
如何学习常识常数？看身体细节
数据挖掘
nlp
机器学习模型
伯特
2022-02-15 11:33:25
2个回答
绝对地。你可以使用 Yuchen Lin 的这个要点从 BERT 那里得到正确的答案：
predict_masked_sent("There are [MASK] days in a week.", top_k=1)
> [MASK]: 'seven' | weights: 0.1132921576499939
predict_masked_sent("A chicken has [MASK] legs.", top_k=1)
> [MASK]: 'four' | weights: 0.25219154357910156
predict_masked_sent("1 km = [MASK] m", top_k=1)
> [MASK]: '500' | weights: 0.08255643397569656
predict_masked_sent("1 day = [MASK] hours", top_k=1)
> [MASK]: '24' | weights: 0.06566877663135529
```
以下是您可能想要探索的方向 -
您可以使用大量文本构建封闭域问答模型。然后给一个单词作为模型的输入。可以在此处找到有关此的更多详细信息。简而言之，在闭卷问答中，像 T5 或 GPT-3 这样的大型语言模型在预训练期间会记住一些事实，并且可以在没有明确上下文的情况下生成答案（与普通问答模型不同）。
您将需要为您的任务相应地构建和注释数据集。