维基百科关于 sigmoid 函数的页面不正确吗?

机器算法验证 术语 S形曲线
2022-03-03 08:58:03

维基百科关于sigmoid 函数的页面不正确吗?

它指出:

sigmoid 函数的一个常见示例是逻辑函数

根据我对机器学习的了解,我认为“sigmoid 函数”被定义为逻辑函数,我从未见过或听说过逻辑函数是一种 sigmoid 函数的说法。

σ(z)=1(1+ez).

此外,该维基百科页面说 sigmoid 函数的其他示例是tanharctan函数。同样,我从未见过将 tanh 或 arctan 描述为一种 sigmoid 函数

这些函数被认为是对等的,通常在如下上下文中:

我们可以在这个神经网络中使用各种非线性函数,例如 sigmoid、tanh 和ReLU激活函数。

我在这里想念什么?维基百科的文章是正确的还是不正确的?我发现维基百科的数学术语通常是准确的。

4个回答

不满意的答案是“这取决于你问谁。” “Sigmoid”,如果你把它分成几部分,就意味着“S 形”。

逻辑 sigmoid 函数如此普遍,以至于人们倾向于掩盖“逻辑”这个词。对于机器学习的人来说,它已成为该类的典范,大多数人称其sigmoid 函数。(称其sigmoid 函数是近视吗?)不过,还有其他社区使用 S 形函数。

正如 Arya 所说,这取决于你问谁,但这并不是机器学习所特有的,即使在机器学习中,情况也不是一致的(或者不是一直很糟糕)。例如,Bishop使用术语“逻辑 sigmoid 函数”,Jordan 早在1995 年就使用了“逻辑函数” 。另一方面,在统计力学中,人们可能将其称为费米-狄拉克分布/函数在生物化学的某些领域,包括毒理学,你会在“希尔方程”这个名称下遇到同样的事情。等等。

恕我直言,重要的是要记住这些只是用于描述数学概念的名称(单词)。文字是人们用来交流的东西,例如想法和方法。只要交流的所有参与者都理解他们在谈论什么概念,他们使用什么词并不重要。社区在很大程度上彼此独立发展(否则它们将形成一个单一的社区)并发展特定领域的“方言”。

作为一个相关的例子,在神经网络(以及通过历史发展,支持向量机)的上下文中,“权重”和“偏差”这两个词的含义与统计学中使用的含义完全不同,但有历史/领域特定的理由使用它们。

更新:实际上,神经网络先驱通常使用“逻辑函数”或“逻辑神经元”:HintonRumelhart 和 McClelland(也在这里)、Sejnowski等。

更新 2:另外,不妨问:“ RBF只是高斯函数吗?出于某种原因,将两者等同于 CV 似乎并没有像你的问题那样引起骚动。

我相信还有一个答案,特别是针对您目前的观点(修订版 11)和评论是必要的。

维基百科关于 sigmoid 函数的页面不正确吗?

不。在某些社区,特别是机器学习中,一些(甚至可能是大多数?)人们在不同的、更有限的意义上使用术语“ sigmoid 函数”作为逻辑函数的同义词。但是,并非整个社区都这样做,机器学习并不是唯一使用该术语的社区,维基百科也不是机器学习的百科全书。它面向更广泛的受众,他们使用不同的术语,并且可能在机器学习发明之前就一直在使用它。

我从未见过或听过逻辑函数是一种 sigmoid 函数的说法。

维基百科也没有使用这个确切的措辞,所以你似乎误引了它。但是,从语义上讲,将逻辑函数视为 sigmoid 家族的成员并不少见,即使在 ML 社区中也不例外。参见例如

Sigmoid 函数是具有特征 S 形曲线的数学函数。有许多常见的 sigmoid 函数,例如逻辑函数、双曲正切和反正切。

在其他答案和评论中已经给出了其他社区中此类用法的示例。

这些函数被认为是对等的,通常在如下上下文中:

我们可以在这个神经网络中使用各种非线性函数,例如 sigmoid、tanh 和 ReLU 激活函数。

同样,这只是特定于 ML 的术语,即使在那里,情况似乎也不是那么明确。例如,在 Python 的 Scikit-learn(一个 ML 库!)中,多层感知器中的神经元可以具有identitylogistictanhrelu激活函数,但不能具有“ sigmoid ”。

从评论:

我从事应用 ML 工作,如果我说我在我的神经网络中使用了 sigmoid 函数而不是更具体地说我真的使用了 tanh,我可能会被同行击倒。

在罗马做到入乡随俗。但是,这是双向的。机器学习者在解决其他受众时,应该具体并使用“逻辑函数”而不是“ sigmoid ”。

我在 ML 网站上发布了这个问题,故意将受众范围限制在我所在领域的人。

Cross Validated 的范围不仅限于机器学习:

Cross Validated 是一个问答网站,面向对统计、机器学习、数据分析、数据挖掘和数据可视化感兴趣的人。

应该清楚的是,提到的维基百科页面存在一些术语问题。

维基百科的声明

sigmoid 函数的一个常见示例是逻辑函数

并断言这些函数是 sigmoid 函数的示例

在此处输入图像描述

充其量是令人困惑的。

逻辑函数不是sigmoid 函数的一种sigmoid函数逻辑函数。同样,tanh 函数不是sigmoid 函数的一种

斯坦福大学的 Andrew Ng 在这个关于神经网络激活函数的视频中简明扼要地陈述了这个术语。如果您在该领域工作,这是正确的术语。

https://www.youtube.com/watch?v=P7_jFxTtJEo