BERT 比 GPT3 有什么优势吗？

数据挖掘 nlp 伯特 openai-gpt
2021-09-17 18:54:45

我已经阅读了一些文档，这些文档详细解释了 GPT-3（生成式预训练 Transformer-3）相对于 BERT（来自 Transformers 的双向编码器表示）的更大优势。所以很想知道在 NLP 的任何特定领域，BERT 是否比 GPT-3 得分更高？

有趣的是，OpenAI 的 GPT-3 不是开源的，而科技巨头 Google 的 BERT 是开源的。我觉得 OpenAI 的立场和 GPT-3 api 的高昂价格与其使命宣言形成鲜明对比（OpenAI 的使命是确保人工智能（AGI）——我们的意思是高度自治的系统，其在经济上最有价值工作——造福全人类）。

https://analyticsindiamag.com/gpt-3-vs-bert-for-nlp-tasks/ https://thenextweb.com/neural/2020/07/23/openais-new-gpt-3-language-explained-在-under-3-minutes-syndication/ https://medium.com/towards-artificial-intelligence/gpt-3-from-openai-is-here-and-its-a-monster-f0ab164ea2f8

2个回答

Medium 上的这篇文章介绍了 GPT-3 与 BERT 进行了一些比较。

具体来说，第 4 节检查了 GPT-3 和 BERT 的不同之处，并提到：“在架构维度上，BERT 仍然占据优势。它是经过训练的挑战，能够更好地捕捉不同问题上下文中文本之间的潜在关系。”

此外，在文章的第 6 节中，作者列出了 GPT-3 难以解决的领域。BERT 和其他双向编码器/转换器可能会做得更好，尽管我还没有数据/参考来支持这一点。

BERT 需要进行微调才能做你想做的事。

GPT-3 无法微调（即使您可以访问实际权重，微调也会非常昂贵）

如果您有足够的数据进行微调，那么每单位计算（即推理成本），您可能会从 BERT 中获得更好的性能。

其它你可能感兴趣的问题
上一篇抽样是降低复杂性的有效方法吗？ 下一篇与句子嵌入的文本相似性