我想了解保持 ReLU 为max(0,x)max(0,x)并不是min(0,x)min(0,x)?
为什么我们更喜欢正输入而不是负输入?
在神经网络中学习到的权重可以是正的也可以是负的。所以实际上,任何一种形式都可以。用minmin形式提供与 maxmax形式。max 形式纯粹按照惯例使用。