当前自然语言处理和理解方面的重大挑战是什么?

人工智能 自然语言处理 自然语言理解
2021-10-24 00:42:03

我正在为一门课程写一篇论文,主题是人工智能中仍然普遍存在的大问题,特别是在自然语言处理和理解领域。据我了解,这些领域:

  • 文本分类
  • 实体识别
  • 翻译
  • 词性标注

目前在很大程度上已解决或在高水平上执行,但以下领域:

  • 文本摘要
  • 会话系统
  • 上下文系统(依赖于将影响当前预测的先前上下文)

仍然相对未解决或者是一个很大的研究领域(尽管根据我所读到的大型变压器模型的发布,这很可能很快就会改变)。

对于在该领域有经验的人来说,在 NLP 和 NLU 中哪些领域仍然是很大的挑战?为什么这些领域(不一定是我列出的领域)如此难以弄清楚?

2个回答

根据 Sebastian Ruder 的一篇好文章https://ruder.io/4-biggest-open-problems-in-nlp/基于顶级 NLP 研究人员的回答https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ -iLOowP1XXDaSVRmYN0IyM/编辑

  1. 自然语言理解
  2. 用于低资源场景的 NLP
  3. 推理大型或多个文档
  4. 数据集、问题和评估

我建议看看这篇文章。幻灯片中的更多详细信息https://drive.google.com/file/d/15ehMIJ7wY9A7RSmyJPNmrBMuC7se0PMP/view

根据NLP 和 NLU 研究员Dan Jurafsky的说法,当前 NLP 中的难题是(见幻灯片 6

  • 有问必答
  • 释义
  • 总结
  • 对话

已经有一些好的解决方案的其他难题是

  • 情绪分析
  • 共指解析
  • 词义消歧
  • 解析
  • 机器翻译
  • 信息提取

自然语言中的歧义是 NLP 和 NLU 系统面临的最大挑战之一。其他挑战是(见幻灯片 10

  • 非标准词
  • 成语
  • 棘手的实体名称
  • 新词
  • 世界知识
  • 分割问题