Sigmoid > 双曲正切：

正如您所提到的，在我们需要输出概率值的情况下，Sigmoid 的应用可能比双曲正切更方便（正如@matthew-graves 所说，我们可以通过简单的映射/校准步骤来解决这个问题）。在其他层，这没有任何意义。

双曲正切 > Sigmoid：

双曲正切具有称为“近似原点附近的恒等”的属性，这意味着$\tanh(0) = 0$,$\tanh'(0) = 1$， 和$\tanh'(z)$周围是连续的$z=0$（相对于 $\sigma(0)=0.5$和$\sigma'(0)=0.25$）。这个特性（也存在于许多其他激活函数中，例如identity、arctan和sinusoid）让网络即使在其权重初始化为小值时也能有效地学习。在其他情况下（例如Sigmoid和ReLU），这些小的初始值可能是有问题的。

延伸阅读：

用于训练非常深的前馈网络的随机游走初始化

我认为根据输出的所需属性来决定激活函数是没有意义的。您可以轻松插入一个校准步骤，将“神经网络分数”映射到您实际想要使用的任何单位（美元、概率等）。

所以我认为不同激活函数之间的偏好主要归结为这些激活函数的不同属性（比如它们是否连续可微）。因为两者之间只是线性转换，我认为这意味着它们之间没有有意义的差异。