我想 sigmoid 函数会进入 ANN 的“从一开始”，因为它被用于计算神经科学来逼近观察到的生物神经元的激活函数。例如，参见1972 年的这篇论文。

感谢@nigelhenry 的论文，该论文证明了在反向传播（+1）之前在实际的生物神经网络中识别了 sigmoid 函数。鉴于此，我同意它是人工神经网络的自然选择。但最早的人工神经网络使用不连续的阶跃函数。反向传播（及其前身？）的引入需要一个可微的激活函数，而且这似乎发生得相当早，尽管我在 Werbos 的论文中也没有找到它。

我没有明确的答案，但有一些参考资料：

历史的一个很好的总结：
http ://www.andreykurenkov.com/writing/ai/a-brief-history-of-neural-nets-and-deep-learning/

另一个，但并没有真正涉及激活： http:
//people.idsia.ch/~juergen/who-invented-backpropagation.html

Rumelhart、Hinton 和 Williams 的“Learning Internal Representations”，1986 年：
第 322 页：“广义 delta 规则”部分讨论了反向传播。
第 324 页：他们提到“半线性”激活函数：非减、可微。
第 328-329 页：它们具有sigmoid函数作为激活，作为“有用的”半线性激活。他们注意到导数（这很容易计算，尽管他们没有对此发表评论），并且导数在零附近最大，因此

对于那些……在某种意义上，尚未承诺开启或关闭的单位，权重将发生最大的变化。我们相信，这个特性有助于系统学习的稳定性。