数据挖掘 - CNN中多层的激活函数 - 吾爱随笔录

数据挖掘美国有线电视新闻网激活函数

2022-03-06 04:51:53

在最终的全连接层上需要一个激活函数（比如 sigmoid）。但是为什么卷积层也要应用激活函数呢？据我了解，激活功能只需要在最后一层上应用一次。

2个回答

不仅对于卷积神经网络 (CNN)，对于 DNN（深度神经网络）和 RNN（循环神经网络），我们在每一层都使用激活函数。Sigmoid（用于二元分类）、softmax（用于多类分类）或其他一些类型通常用于最终输出层，每种类型都特定于我们必须与预测进行比较的标签类型。

然而，其他神经元也需要激活函数，特别是对于非线性目的；最流行的是 ReLUs（整流线性单元）、Leaky ReLU、tanh、.. 等等。在深度学习中，我们几乎总是为每个神经元使用一个激活函数。如需详细了解，请查看：

也专门针对卷积网络：

希望我能提供帮助，请不要犹豫，询问更多。祝你好运！

训练网络类似于将函数拟合到一些标量数据。如果数据是线性的，则拟合线性函数是合适的，并且效果很好。

在深度学习的情况下，数据丰富且非线性，因此我们应用非线性激活函数来使模型更加复杂。

我们在中间层上使用激活函数的另一个原因是为了优化原因，保持权重和输出值接近 0 和“某种”高斯分布。

其它你可能感兴趣的问题