为什么要使用 ReLU 而不是 PReLU？

人工智能 深度学习 比较 激活函数 雷路 前路
2021-11-05 18:54:10

在我看来，PReLU 似乎比 ReLU 更好。它没有濒死的 ReLU 问题，它允许负值并且它具有可训练的参数（在计算上可以忽略不计调整）。只有当我们希望网络输出正值时，在输出层使用它才有意义。除此之外，我不明白为什么我会先验地决定选择 ReLU 而不是 PReLU。但是，我遇到的大多数架构都使用 ReLU 激活。为什么？我错过了什么吗？

1个回答

我想，情况如下 -PReLU以很小的成本增加了模型的表现力，但收益也几乎可以忽略不计（根据这篇文章）。

确实， 和 之间存在显着差异ReLU，PReLU因为前者对所有人都取相同的值R≤0.

但是，与 a 相比LeakyReLU，请注意，此激活伴随着线性操作，例如Dense或Convolution层：

y∼f(∑w⋅x)
还有坡度α可以吸收神经网络的权重。

其它你可能感兴趣的问题
上一篇在进化算法的上下文中，“未知搜索空间”是什么意思？ 下一篇在随机环境中学习真的很难吗？