在论文“ Provable bounds for learning some deep representations ”中，像模型这样的自动编码器是用离散权重构建的，并且使用一些随机图理论证明了几个结果，但我从未见过任何类似的论文。即使用随机图假设限制神经网络。
关于训练神经网络的时间和空间复杂性，有哪些资源（例如书籍或论文）？
我对卷积神经网络特别感兴趣。
关于训练神经网络的复杂性有哪些资源？
人工智能
卷积神经网络
参考请求
时间复杂度
复杂性理论
2021-11-15 13:15:19
1个回答
有一些关于该主题的技术论文和书籍
Leonard Pitt 和 Leslie G. Valiant 的Computational Limitations on Learning from Examples (1988)，发表在 Journal of the ACM
训练一个 3 节点神经网络是 NP-complete (1992)，作者 Avrim L. Blum 和 Ronald L. Rivest，发表在 Neural Networks
神经网络的计算复杂性： Pekka Orponen 的一项调查 (1994)，发表在 Nordic Journal of Computing
JV Stone 和 R. Lister 发表在 IEEE上的标准和共轭梯度反向传播的相对时间复杂度（1994 年）
Neural Networks - A Systematic Introduction (1996)，特别是第 10 章The Complexity of Learning，Raul Rojas 的书
Gursel Serpen 和Zhenning Gao 发表在Complex Adaptive Systems上的多层感知器神经网络嵌入无线传感器网络（2014）的复杂性分析
Roi Livni、Shai Shalev-Shwartz 和 Ohad Shamir的 On the Computational Efficiency of Training Neural Networks (2014)，发表于 NIPS 2014
Convolutional Neural Networks at Constrained Time Cost (2014) Kaiming He 和 Jian Sun，发表在 IEEE Conference on Computer Vision and Pattern Recognition (2015)
在多项式时间内学习具有两个非线性层的神经网络(2018)，作者：Surbhi Goel 和 Adam Klivans
但是请注意，梯度下降（和其他优化算法）和反向传播算法是数值算法（即它们处理数值误差），因此时间复杂度并不是影响这些算法和模型实际性能的唯一因素.