我们如何知道 GPT-2 是否是更好的语言模型?

人工智能 自然语言处理 变压器 gpt
2021-11-12 02:23:18

您可能听说过 GPT2,一种新的语言模型。它最近引起了公众的关注,因为发表论文OpenAI的基金会讽刺地拒绝分享整个模型,因为担心会产生危险的影响。在这篇论文中,他们还发表了一份宣言来证明他们的选择是正确的:“更好的语言模型及其含义”。很快,许多媒体都发表了文章,讨论选择及其实际上防止不良影响的有效性。我不是在这里讨论这个选择的道德成分,而是模型的实际表现。

这个模型也引起了我的注意,我下载了这个小模型来玩。老实说,我对结果印象深刻。有时,生成的文本的第一段似乎是有道理的,但十有八九是第一句或第二句的胡言乱语。论文中给出的例子似乎是“幸运”输出,人手采摘的樱桃。总体而言,该论文可能会受到非常严重的发表偏倚的影响。

然而,我们可以在互联网上阅读的大多数文章似乎都认为它的强大是理所当然的。麻省理工科技评论写道:

语言模型可以像人类一样写作

卫报写道

当用于简单地生成新文本时,GPT2 能够编写与所给出的风格和主题相匹配的合理段落。它很少显示任何标记以前 AI 系统的怪癖,例如在段落中途忘记它在写什么,或者破坏长句子的语法。

该模型通常被认为是“突破”。这些作品与我的个人实验不符,因为生成的文本很少一致/语法正确。

我的问题是:如果不出于道德原因发布整个模型,我们怎么知道该模型是否真的那么强大?

1个回答

您已经尝试了一个小型模型(117M 参数)。OpenAI 现在已经发布了中型模型(345M 参数)。请注意,完整模型有 1.5B 参数。另请注意,GPT-2 已针对所有可用文本的一小部分进行了训练。几乎可以保证,在更多文本上训练的更大模型会生成更好的文本。

我已经尝试过 345M 型号,我同意卫报的评估。你自己看:

迅速的:

我想使用机器学习生成优美的音乐。你认为计算机能够创作出像莫扎特、巴赫或肖邦的作品那样新颖的作品吗?

结果(前四个样品,不是樱桃采摘):

是的,计算机可能会在 2020 年之前做到这一点。我认为我们的关键将是制作有趣而优美的音乐,所以我们永远不会真正知道。我希望计算机会随着时间的推移变得更加高效——这已经在很多方面发生了,比如在大数据中——同时仍然能够做更多他们接受过的训练,比如寻找模式。我认为这就是我将来想要使用神经网络的地方。


我们不知道,但它可能会发生。这是一个有趣的问题。当然我们有人工智能,它可以在没有人工输入的情况下做有趣的事情。它可以识别世界,找到物体和图像,它理解语言,我们可以为它制作游戏。但如果你想象一个 AI 能够写音乐,它是否足够好?比人类玩家强多少?别人能做多好?人工智能永远不会真正处于最佳状态,因为它总是必须想出创造性的方式来使用和发挥它。问一个足够好的问题就是忽略它是人类。你只能问好问题


该软件将提供帮助,因为它已经可以做到。但它也将允许更多的人类创作者,这是我认为它应该做更多的事情来将音乐带入任何流派。就作曲而言,这通常是人类创造力的问题。但它是如何做到这一点的呢?让我们说今天作曲的人比以往任何时候都少。你还记得那一天,计算机偶然可以为莫扎特的第四奏鸣曲写歌词,或者人类为莫扎特的第二号奏鸣曲写歌词的那一天吗?那是在 1960 年,现在已经不是真的了。随着我们前进,我们不会创作人类音乐家无法创作的音乐。作为计算机音乐创作者,您的目标是什么?


这个想法的核心是音乐是声音的集合——它是第一个艺术形式,是人类进化的第一个音乐,是声音的集合。音乐不是声音的抽象事物,而是声音的集合。你不能像我们写书和电影的方式来写音乐,因为我们在写和作曲时考虑到了声音。这就是机器学习的用武之地。您可以阅读一些有关如何获得更好的音乐作家或如何提高他们的音乐质量的书籍,但您根本无法利用此类信息来有所作为。音乐教给你什么?优美的写作和表演,准确地传达情感,并与他人建立持久而丰富的关系