为什么 ReLU 特别将负值设置为零?

机器算法验证 神经网络 卷积神经网络
2022-04-04 08:46:21

我想了解保持 ReLU 为max(0,x)并不是min(0,x)?

为什么我们更喜欢正输入而不是负输入?

1个回答

在神经网络中学习到的权重可以是正的也可以是负的。所以实际上,任何一种形式都可以。min形式提供与 max形式。max 形式纯粹按照惯例使用。