我的神经网络仅由两个隐藏的全连接单元组成。我使用relu作为激活函数获得了非常好的结果，而使用softplus只有好的结果。

我的主要目的是尽可能准确地获得输入的输出梯度。由于 relu 具有阶梯式导数，因此即使我使用 relu 得到更好的预测，最好使用 softplus 作为我的激活函数？

谢谢你的时间，阿尔贝托