近年来,我们看到了很多令人印象深刻的深度神经网络 (DNN) 展示,其中最著名的就是 AlphaGo 及其表亲程序。
但如果我理解正确的话,深度神经网络只是一个有很多层的普通神经网络。自 1970 年代以来,我们就知道神经网络的原理(?),而深度神经网络只是一层神经网络对许多人的概括。
从这里看,最近 DNN 的爆炸式增长似乎与理论突破无关,例如一些新的革命性学习算法或已在理论上证明有效的特定拓扑。似乎 DNN 的成功可以完全(或大部分)归功于更好的硬件和更多的数据,而不是任何新的理论见解或更好的算法。
我什至会说,没有新的理论见解/算法对 DNN 最近的成功做出重大贡献;DNN 最重要(如果不是全部)的理论基础是在 1970 年代或更早完成的。
我说得对吗?理论进步对 DNN 最近的成功有多大影响(如果有的话) ?