如何将神经模型定义为线性或非线性

数据挖掘 神经网络 初学者
2022-02-28 20:41:20

神经元的非线性模型

TL;DR:在什么意义上,上图中看到的神经元模型是非线性的?

在 Simon Haykin的《神经网络》一书的第 1 章第 1.3 节“神经元模型”中,单个神经元的标准模型在上图中进行了描述和可视化。

Haykin 指出,该模型由一组输入 x1..xm、它们对应的权重 w1..wm、一个对加权输入和偏差 (b) 求和的线性组合器以及一个获取该总和并产生输出,是非线性的。所以,我的问题是,输出不是线性依赖于输入吗?例如,如果神经元只接受一个输入 x1,那么线性组合器的形式为 v = x1 + b,激活函数为 φ(v)。所以,我可以看到这个模型是非线性的唯一方法是激活函数是非线性的。但显然存在激活函数是线性的情况(如本书同一部分中描述的分段线性函数)。那么这个模型怎么可能是固有非线性的呢?

我意识到这不是一个主要问题,但我想在继续之前理解这本书的每一部分,自从我看到它以来,这一直困扰着我。

提前感谢大家的回答。

1个回答

你是对的,为了模型是非线性的,激活函数必须是非线性的。

例如,如果激活函数是恒等函数,即使您堆叠多个隐藏层,您的模型也不会是非线性的。事实上,神经元的输出只是输入与权重的线性组合。

我认为作者说这个神经元模型是非线性的,因为在实践中几乎从不使用线性激活函数。有些函数看起来像线性函数,但实际上并非如此。这是 ReLU 激活函数的演示,它看起来像一个线性函数,但在数学上不是:https ://datascience.stackexchange.com/a/26481/73209

我想分段线性单元 (PLU) 激活函数也是如此。