杰弗里·辛顿
反向传播:在 1986 年与 David Rumelhart 和 Ronald Williams 合着的论文“Learning Internal Representations by Error Propagation”中,Hinton 证明反向传播算法允许神经网络发现自己的数据内部表示,从而可以使用神经网络网络来解决以前被认为超出他们能力范围的问题。反向传播算法是当今大多数神经网络的标准。
玻尔兹曼机:1983 年,Hinton 与 Terrence Sejnowski 一起发明了玻尔兹曼机,这是最早能够学习不属于输入或输出的神经元的内部表示的神经网络之一。
卷积神经网络的改进:2012 年,Hinton 与他的学生 Alex Krizhevsky 和 Ilya Sutskever 一起使用校正线性神经元和 dropout 正则化改进了卷积神经网络。在著名的 ImageNet 比赛中,Hinton 和他的学生几乎将物体识别的错误率降低了一半,并重塑了计算机视觉领域。
约书亚·本吉奥
序列的概率模型:在 1990 年代,Bengio 将神经网络与序列的概率模型(例如隐马尔可夫模型)相结合。这些想法被纳入 AT&T/NCR 用于读取手写支票的系统中,被认为是 1990 年代神经网络研究的巅峰之作,现代深度学习语音识别系统正在扩展这些概念。
高维词嵌入和注意力:2000 年,Bengio 撰写了具有里程碑意义的论文“A Neural Probabilistic Language Model”,该论文引入了高维词嵌入作为词义的表示。Bengio 的见解对自然语言处理任务产生了巨大而持久的影响,包括语言翻译、问答和视觉问答。他的团队还引入了一种注意力机制,这种机制在机器翻译方面取得了突破,并形成了深度学习顺序处理的关键组成部分。
生成对抗网络:自 2010 年以来,Bengio 的关于生成深度学习的论文,特别是与 Ian Goodfellow 开发的生成对抗网络 (GAN),催生了计算机视觉和计算机图形学的一场革命。在这项工作的一个引人入胜的应用中,计算机实际上可以创建原始图像,让人想起被认为是人类智能标志的创造力。
颜乐存
卷积神经网络:在 1980 年代,LeCun 开发了卷积神经网络,这是该领域的基本原理,除其他优点外,它对于提高深度学习的效率至关重要。1980 年代后期,在多伦多大学和贝尔实验室工作时,LeCun 是第一个在手写数字图像上训练卷积神经网络系统的人。如今,卷积神经网络已成为计算机视觉以及语音识别、语音合成、图像合成和自然语言处理的行业标准。它们用于各种应用,包括自动驾驶、医学图像分析、声控助手和信息过滤。
改进反向传播算法:LeCun 提出了反向传播算法(backprop)的早期版本,并基于变分原理对其进行了清晰的推导。他加速反向传播算法的工作包括描述了两种加速学习时间的简单方法。
拓宽神经网络的视野:LeCun 还被认为为神经网络开发了更广阔的视野,将其作为广泛任务的计算模型,在早期工作中引入了许多现在在 AI 中基本的概念。例如,在识别图像的背景下,他研究了如何在神经网络中学习层次特征表示——这个概念现在经常用于许多识别任务。他与 Léon Bottou 一起提出了这个想法,在每个现代深度学习软件中都使用了这个想法,即学习系统可以构建为复杂的模块网络,其中通过自动微分执行反向传播。他们还提出了可以操作结构化数据(例如图形)的深度学习架构。