如何从头开始创建语言翻译器?

数据挖掘 深度学习 nlp rnn 机器翻译 nlg
2022-03-04 17:37:44

我想创建一个可以将英语、韩语和泰米尔语句子翻译成英语句子的翻译器,我尝试了 googletrans,但有什么方法可以创建比使用 DL 和 NLP 技术更好的东西吗?

1个回答

谷歌翻译本身使用深度学习来翻译可以在这里看到的句子。

您可以跨语言翻译句子,您需要两件事:

  1. 具有成对翻译(如英法)的大型数据集。您可以从这里找到这样的数据集。
  2. 序列到序列的 RNN 模型。他们具有编码器-解码器架构,可将源语句编码为思想向量,然后对其进行解码以形成翻译。这张图片可能会有所帮助。 在此处输入图像描述 图为谷歌采用的神经机器翻译。

此外,TensorFlow 和 Keras 有助于创建此类深度学习模型。可以参考Keras 作者的这篇博客。这些模型 (seq2seq) 在文本摘要、NMT 和其他序列到序列任务中获得了普及。

如果您希望创建一个全面的生产就绪语言翻译器,那么您将需要一个 GPU,因为这些模型训练起来很繁重,而且文本语料库非常大。