我没有神经网络的背景。但是，各种研究已经证明，神经网络（前馈/循环）在预测序列中的单词方面优于 n-gram 语言建模。但是，在文本消息传递或任何基于文本的对话的应用程序中，最有可能使用的语言将更加非正式或口语化。神经网络还能比 n-gram LM 表现得更好吗？考虑到要输入的数据是文本消息（口语短语）。如果有，请赐教，谢谢。
用于预测打字的神经网络
数据挖掘
机器学习
神经网络
nlp
语言模型
2022-02-25 13:19:24
1个回答
当您有大量相似的数据和分类任务时，神经网络原则上是一个不错的选择。预测下一个字符（或单词......只是多个字符）就是这样一个场景。我认为你拥有哪种语言并不重要，只要你有足够的同类训练数据。
请参阅The Unreasonable Effectiveness of Recurrent Neural Networks以获得一篇不错的文章，其中将递归神经网络 (RNN) 用作字符预测器来编写完整的文本。他们在github.com/karpathy/char-rnn上也有代码准备好训练/开始。你可以给它一个起始字符串并询问下一个字符/单词。