使用 LeakyRelu 作为 CNN 中的激活函数及其最佳 alpha

数据挖掘 喀拉斯 美国有线电视新闻网 激活函数
2021-10-14 06:11:29

因为如果我们不声明activation function,默认将设置linear为 Conv2D 层。写的是真的吗:

model.add(Conv2D(32, kernel_size=(3, 3),
           input_shape=(380,380,1))
model.add(LeakyReLU(alpha=0.01))

我的意思是现在通过书面行,Conv2D 层的激活函数设置为LeakyRelu或不设置?

此外,我想知道什么是最好的alpha我找不到任何资源来分析它。

1个回答

代码,

model.add(Conv2D(32, kernel_size=(3, 3), input_shape=(380,380,1))
model.add(LeakyReLU(alpha=0.01))

肯定会Conv2D使用 LeakyReLU 激活给定参数 alpha(ReLU 的负斜率)转换输出。

此外,我想知道什么是最好的阿尔法?我找不到任何资源来分析它。

在 ReLU 中,我们简单地将负值的激活设置为 0。这导致了导致过拟合的死亡 ReLU 问题。因此,我们返回Xα 而不是 0,以便该单元不会变为非功能性。

如果我们查看 TensorFlow 的tf.nn.leaky_relu方法,我们会发现 alpha 为 0.2。

而在 Keras 的layers.LeakyReLU课程中,您会发现 alpha 为 0.3。

因此,您可以清楚地了解参数的值应该是什么。它基本上是一个超参数,您需要通过试错观察来调整它。