反向传播所花费的时间如何随着神经元的增加而变化?

数据挖掘 神经网络 深度学习
2022-02-28 04:53:26

这是我在面试中经常遇到的一个问题,但我不明白答案是什么以及答案是什么:-

如果我们有一个神经网络,并且我们将其中的神经元加倍,那么反向传播所花费的时间如何变化?它会增加吗

  1. 2次
  2. 4次
  3. 8次
  4. 16次
1个回答

一般的想法是时间复杂度与执行所有反向传播步骤所需的操作数量有关。您可以在此处找到示例解决方法: https ://medium.com/swlh/computational-complexity-of-neural-networks-38c01e7e566a

对于 4 层 NN,复杂度似乎是 O(n⁵),其中 n 是每一层的节点数(在该示例中,每一层的 n 也是相同的)。