我在浏览AI StackExchange时遇到了一个非常相似的问题：“深度学习”与其他神经网络的区别是什么？

由于 AI StackExchange 将于明天（再次）关闭，我将在此处复制两个最重要的答案（根据 cc by-sa 3.0 许可的用户贡献，需要注明出处）：

添加一名作者

2006 年两篇被广泛引用的论文将研究兴趣带回了深度学习。在“深度信念网络的快速学习算法”中，作者将深度信念网络定义为：

[...] 具有许多隐藏层的密集连接信念网络。

我们在“ Greedy Layer-Wise Training of Deep Networks”中找到了几乎相同的深度网络描述：

深度多层神经网络具有许多级别的非线性 [...]

然后，在调查论文“Representation Learning: A Review and New Perspectives”中，深度学习被用于涵盖所有技术（另见本演讲），并被定义为：

[...] 构建多层次的表示或学习特征的层次结构。

因此，上述作者使用形容词“深”来强调多个非线性隐藏层的使用。

添加一名作者

只是添加到@mommi84 答案。

深度学习不仅限于神经网络。这是比 Hinton 的 DBN 等更广泛的概念。深度学习是关于

构建多层次的表示或学习特征的层次结构。

所以它是分层表示学习 算法的名称。有基于隐马尔可夫模型、条件随机场、支持向量机等的深度模型。唯一常见的是，研究人员试图创建一组特征，而不是（在 90 年代流行）特征工程，这是最适合解决一些分类问题 - 这些机器可以从原始数据中得出自己的表示. 特别是 - 应用于图像识别（原始图像），它们产生由像素组成的多级表示，然后是线条，然后是面部特征（如果我们正在处理面部），如鼻子、眼睛，最后是广义的面部。如果应用于自然语言处理 - 他们构建语言模型，将单词连接成块，块连接成句子等。

另一个有趣的幻灯片：

来源

2006 年来自 Hinton 的 Dropout 据说是过去 10 年深度学习中最大的进步，因为它减少了很多过拟合。

这无疑是一个会引起争议的问题。

当神经网络用于深度学习时，它们通常以 1980 年代未使用的方式进行训练。特别是预训练神经网络的各个层以识别不同级别的特征的策略据称可以更容易地训练具有多个层的网络。这无疑是自 1980 年代以来的一项新发展。

关键是深度学习中的“深度”二字。80 年代的某个人（忘记了参考文献）证明了所有非线性函数都可以用一个单层神经网络来近似，当然，它具有足够多的隐藏单元。我认为这个结果可能会阻止人们在早期寻求更深层次的网络。

但是网络的深度被证明是分层表示中的关键元素，它推动了当今许多应用程序的成功。