在证明 ReLU 的成功后不久，就有大量研究论文描述了不同外来激活的性能。可能已经发布了数百种不同的激活函数，其中许多从未流行起来。您可以从字面上使用任何单变量函数作为激活，因此“可能的”激活函数的空间是无限的。

一个更好的问题是“我在哪里可以找到有用的激活函数的完整列表？” 我认为有用的一个简单定义是“我实际上可以在我现在想要构建的模型中轻松地对此进行试验”，在这种情况下，简单的解决方案就是检查您选择的框架的文档。例如，以下是 pytorch 开箱即用的激活函数：

https://pytorch.org/docs/stable/nn.html#non-linear-activations-weighted-sum-nonlinearity

我在那里数了 29 个激活函数。就已发表的研究而言，它是否“全面”？不，可能不是。但是如果有人在五年前或其他什么时候发布了一个激活函数，但它仍然没有进入 pytroch，我认为你可能不需要担心它的缺失。

如果你想知道这些不同的激活函数是如何执行的，最好的办法是挖掘介绍它们的论文。它们将包括基准并描述是什么激发了激活函数的形状，以及作者希望它在哪些问题域上运行良好。您甚至可以通过paperswithcode 找到它们的使用示例，例如：https ://paperswithcode.com/method/relu