深度神经网络中的最小层数

机器算法验证 机器学习 神经网络 深度学习 术语
2022-01-25 04:52:59

我们什么时候开始将多层神经网络分类为深度神经网络,或者换一种说法“深度神经网络中的最小层数是多少?”

3个回答

“深度”是一个营销术语:因此,您可以在需要营销多层神经网络时使用它。

“深度”
最早的深度神经网络之一具有三个紧密连接的隐藏层(Hinton 等人(2006 年))。

在此处输入图像描述

“非常深”
2014 年“非常深”的 VGG 网络 Simonyan等人。(2014)由 16 个以上的隐藏层组成。

在此处输入图像描述

“Extremely Deep”
2016 年的“extremely Deep”残差网络He et al. (2016)由 50 到 1,000 多个隐藏层组成。 在此处输入图像描述

根据文献,

Schmidhuber, J. (2015)。“神经网络中的深度学习:概述”。神经网络。61:85-117。arXiv:1404.7828免费阅读。doi:10.1016/j.neunet.2014.09.003。

https://en.wikipedia.org/wiki/Deep_learning

据说

深度学习与深度学习的深度划分没有普遍认同的阈值,但该领域的大多数研究人员都同意深度学习具有多个非线性层(CAP > 2),并且 Schmidhuber 认为 CAP > 10 是非常深度的学习

从输入到输出的一系列转换是信用分配路径或 CAP。对于前馈神经网络,CAP 的深度以及网络的深度是隐藏层数加一。