机器翻译的实际质量如何?

人工智能 自然语言处理 自然语言理解 机器翻译 谷歌翻译
2021-11-09 19:45:18

作为一名 AI 外行,直到今天我都对自动化翻译的承诺和实现的改进感到困惑。

我的印象是:还有很长很远的路要走。或者还有其他解释为什么非常简单的维基百科文章的自动翻译(例如由谷歌提供和提供)仍然阅读和听起来主要是愚蠢的,难以阅读,并且只有部分有用和有用?

这可能取决于个人偏好(关于可读性、有用性和实用性),但我个人的期望非常失望。

反过来说:谷歌的翻译对大多数用户来说是否可读、有用和有用

或者谷歌有理由保留它的成就(而不是向用户展示他们可以展示的最好的东西)?

4个回答

谁声称机器翻译和人工翻译一样好?对我来说,作为一名 35 年以翻译为生的专业翻译人员,MT 意味着我每天的人工质量翻译量增加了 3 到 5 倍,具体取决于源文本的复杂性。

我不同意 MT 的质量随着外语输入的长度而下降。对于具有语义和语法分析的旧系统来说,这曾经是正确的。我不认为我了解所有旧系统(我知道 Systran,西门子的一个垃圾工具,像 Danaer 的礼物一样从一家公司出售到另一家公司,XL8,个人翻译和翻译),但即使是专业系统我在其中投资了 28.000 马克 (!!!!) 惨遭失败。

例如,这句话:

在这个炎热的夏日,我不得不工作,这让我很头疼。

可以使用多种 MT 工具将其翻译成德语。

个人翻译 20 :

Auf diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel。

提示

An diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel。

深度

An diesem heißen Sommertag musste ich arbeiten und es war eine Qual。

谷歌:

An diesem heißen Sommertag musste ich arbeiten und es war ein Schmerz im Arsch。

今天,谷歌通常会为我提供可读的、几乎正确的翻译,而 DeepL 甚至更好。就在今天早上,我用了3个小时翻译了3500字,结果是完美无缺,虽然原文是错误的(中文写的)。

谷歌的翻译可能很有用,特别是如果您知道翻译并不完美,并且如果您只是想初步了解文本的含义(其谷歌的翻译有时可能会误导或不正确)。我不会推荐谷歌的翻译(或任何其他非人工翻译)来进行严肃的翻译,除非它可能是一个普通的句子或单词,它不涉及很长的文本和非正式的语言(或俚语),翻译涉及英语或您无法使用人工翻译。

谷歌翻译目前使用神经机器翻译系统为了评估这个模型(和类似的模型),BLEU 指标(从0100, 在哪里100对应于人类黄金标准翻译)和并排评估(人类对翻译进行评分)已被使用。如果只使用 BLEU 指标,机器翻译会很差(但 BLEU 指标也不是一个完美的评估指标,因为给定句子的翻译通常不止一个)。然而,与基于短语的机器翻译 (PBMT)相比,GNMT 减少了翻译错误

让 AI 再次有意义的论文中,作者还讨论了翻译任务的难度(这被认为是一个AI-complete 问题)。他们还提到了转换器(另一种最先进的机器翻译模型),它取得了相当糟糕的结果(使用 BLEU 指标评估)。

总而言之,机器翻译是一个难题,当前的机器翻译系统的性能肯定不如专业的人工翻译。

您问了很多问题,其中一些问题无法明确回答。为了深入了解机器翻译的质量(及其历史),我喜欢参考 Christopher Manning 在他的讲座中提出的“单句基准” 。它包含一个与谷歌翻译输出进行比较的中文到英文的例子。该示例的正确翻译是:

1519年,六百名西班牙人登陆墨西哥,征服了拥有几百万人口的阿兹特克帝国。他们在第一次冲突中损失了三分之二的士兵。

谷歌翻译返回了以下翻译。

2009年1519600名西班牙人登陆墨西哥,数百万人征服阿兹特克帝国,前三分之二的士兵反对他们的损失。

2011 1519 600西班牙人登陆墨西哥,数百万人征服阿兹特克帝国,最初损失的士兵,三分之二是他们遭遇的。

2013年1519 600名西班牙人登陆墨西哥,征服了阿兹特克帝国,数以亿计的人,最初的对抗损失了三分之二的士兵。

2015 1519 600西班牙人登陆墨西哥,数百万人征服阿兹特克帝国,前三分之二的士兵在他们冲突中损失。

2017 1519年,600名西班牙人登陆墨西哥,征服了阿兹特克帝国的数百万人,第一次对抗他们杀死了三分之二。

Google 是保留还是“隐藏”他们的最佳结果:我对此表示怀疑。有许多优秀的研究人员在自然语言处理(NLP)领域工作。如果谷歌在翻译方面能取得“最大成就”,研究人员迟早会想出来的。(为什么 Google 会隐藏他们的“最大成就”?他们似乎看到了开源的好处,参见 Transformer[1] 或 BERT[2])

注意。有关 NLP 中最先进算法的更新列表,请参阅 SQuAD2.0 排行榜

[1] 瓦斯瓦尼、阿什什等人。“注意力就是你所需要的。” 神经信息处理系统的进展。2017 年。

[2] 德夫林、雅各布等人。“伯特:用于语言理解的深度双向转换器的预训练。” arXiv 预印本 arXiv:1810.04805 (2018)。

这实际上取决于语言对和内容的主题。通常最好支持将英语翻译成/从英语翻译成任何其他语言。与流行语言之间的翻译效果更好,例如,从英语到罗马尼亚语的翻译比英语到俄语的翻译效果要差。但是从英语翻译成俄语或罗马尼亚语比将俄语翻译成罗马尼亚语要好。将罗马尼亚语翻译成英语比将英语翻译成罗马尼亚语要好。

但是,如果您习惯与翻译人员合作,并且对语言、翻译错误和主题有一定的了解,那么很容易理解应该存在的内容。而且,在这一点上,有时阅读翻译成您的母语以便快速扫描的内容比阅读第二语言更容易。

不太流行的语言(对于翻译不一定是说话者的数量)更接近于直译,只是比你个人使用字典为你不知道的两种语言所做的要好一点。