您选择的激活函数取决于您正在构建的应用程序/您必须使用的数据。如果不考虑这一点，很难推荐其中一个。

以下是一些常见激活函数的优缺点的简短总结： https ://missinglink.ai/guides/neural-network-concepts/7-types-neural-network-activation-functions-right/

当我处理正值时，作者对 ReLU 的含义是什么，而当我处理一般值时，作者是线性函数。

ReLU 适用于 > 0 的输入，因为如果输入 < 0，ReLU = 0（如果梯度 = 0，则会杀死神经元）

为了解决这个问题，您可以考虑改用 Leaky-ReLU。（在输入 <= 0 的情况下通过返回非零值来避免杀死神经元）

这里没有什么是写在石头上的，但根据经验，线性激活并不常见。隐藏层中的线性激活函数可以折叠更多层中的更多神经元。如果不使用输出的比例，则可以在最后一层实现线性激活。（这是我见过的最常见的用法。）