Alexa 话语解析如何工作?

数据挖掘 nlp 语言模型
2022-02-15 17:13:31

进行诸如 Alexa 话语解析之类的操作所需的基本原则/工具是什么?

作为参考,Alexa 允许设计人员定义带有“占位符”的短语,这些短语将被填充。例如,短语“双子座的星座是什么”将匹配底层模型(如下),并返回Sign=gemini.

what's the horoscope for {Sign}
what is the horoscope for {Sign}
give me the horoscope for {Sign}
tell me the horoscope for {Sign}

澄清一下:我对语言模型和解析(关于理论和算法)如何工作的理论感兴趣,所以我可以构建自己的版本。

2个回答

如果您对语音理解或语音到文本更感兴趣,一些自然语言解析和语音到文本的方法使用循环神经网络或隐马尔可夫过程进行学习,以及许多信号处理算法从仅原始音频的输入流中提取更多数据。请记住,人们将整个职业生涯都花在了这项工作上,因此除非您是正在寻找顶点/论文项目的 MS/PhD 候选人,否则只是拿起并运行并不是一个好问题。这是贝尔实验室的标志性论文,它启发了许多 DFA/HMM 解决方案。我还没有找到一篇论文很好地解释了如何实际实现 RNN 风格的解决方案,但如果你有兴趣,这里有一篇。

Alexa 很可能使用了这些方法的某种组合,但我怀疑你会从这里的任何人那里得到任何好的答案。毕竟,这是一个重要的亚马逊项目,而且他们的工程师不会来 Stack Overflow 并开始泄露商业机密。

奇怪的是,半途而废的权威答案是可能的。我也想知道这个答案。谷歌搜索几乎没有发现,直到我偶然发现亚马逊网站上发布的数据科学家职位。至少截至 2017 年 8 月 28 日,他们正在寻找:

扎实的 NLP 统计学习技术背景(HMM、CRF、SVM、LDA、LSI、MRF 等)

所以这不是一个详尽的列表,特别是他们可能不想宣传的有趣技术,但上面的列表至少是他们使用的技术的一个子集。