深度神经网络在理论上有什么革命性的东西吗?

人工智能 神经网络 深度学习 深度神经网络 计算学习理论
2021-11-11 11:40:06

近年来,我们看到了很多令人印象深刻的深度神经网络 (DNN) 展示,其中最著名的就是 AlphaGo 及其表亲程序。

但如果我理解正确的话,深度神经网络只是一个有很多层的普通神经网络自 1970 年代以来,我们就知道神经网络的原理(?),而深度神经网络只是一层神经网络对许多人的概括。

从这里看,最近 DNN 的爆炸式增长似乎与理论突破无关,例如一些新的革命性学习算法或已在理论上证明有效的特定拓扑。似乎 DNN 的成功可以完全(或大部分)归功于更好的硬件和更多的数据,而不是任何新的理论见解或更好的算法。

我什至会说,没有新的理论见解/算法对 DNN 最近的成功做出重大贡献;DNN 最重要(如果不是全部)的理论基础是在 1970 年代或更早完成的。

我说得对吗?理论进步对 DNN 最近的成功有多大影响(如果有的话) ?

1个回答

第一台神经网络机器是1950 年代构建的随机神经模拟强化计算器(SNARC) 。如您所见,它已经很老了。在那之后,在反向传播和梯度消失问题方面取得了一些进展。然而,这些想法本身并不新颖。简而言之,我们今天拥有当时没有的数据和处理能力。

你可以看看维基百科的时间线