TL;DR:在什么意义上,上图中看到的神经元模型是非线性的?
在 Simon Haykin的《神经网络》一书的第 1 章第 1.3 节“神经元模型”中,单个神经元的标准模型在上图中进行了描述和可视化。
Haykin 指出,该模型由一组输入 x1..xm、它们对应的权重 w1..wm、一个对加权输入和偏差 (b) 求和的线性组合器以及一个获取该总和并产生输出,是非线性的。所以,我的问题是,输出不是线性依赖于输入吗?例如,如果神经元只接受一个输入 x1,那么线性组合器的形式为 v = x1 + b,激活函数为 φ(v)。所以,我可以看到这个模型是非线性的唯一方法是激活函数是非线性的。但显然存在激活函数是线性的情况(如本书同一部分中描述的分段线性函数)。那么这个模型怎么可能是固有非线性的呢?
我意识到这不是一个主要问题,但我想在继续之前理解这本书的每一部分,自从我看到它以来,这一直困扰着我。
提前感谢大家的回答。
