如何确定神经网络的最佳层数?

人工智能 神经网络 循环神经网络 前馈神经网络 超参数优化 隐藏层
2021-11-02 20:30:10

如何确定神经网络的最佳层数(前馈或循环)?

2个回答

有一种称为Pruning神经网络的技术,仅用于同样的目的。

修剪是在隐藏层的数量上完成的。该过程与决策树的修剪过程非常相似。剪枝过程如下:

  • 使用标准训练算法训练大型、密集连接的网络
  • 检查训练的网络以评估权重的相对重要性
  • 删除最不重要的权重
  • 重新训练修剪后的网络
  • 重复步骤 2-4 直到满意

但是,有几种优化的神经网络剪枝方法,也是一个非常活跃的研究领域

您可以将贝叶斯超参数优化视为根据超参数优化损失(或任何东西)的一般方法。但请注意,通常网络越深越好,因此根据层数优化损失并不是一件很有趣的事情。

网格搜索和一些常识(通过查看许多示例了解到)应该是您最好的选择。