数据挖掘 - 神经网络线性和非线性 - 吾爱随笔录

数据挖掘深度学习神经网络统计数据数据科学模型

2022-03-08 00:58:55

我是否可以致电：

请不要将此标记为重复，因为没有一个问题真正回答了这里提出的问题。谢谢你。

1个回答

是的，你大多是正确的。具有单层和 sigmoid 激活的前馈神经网络是逻辑回归，属于 GLM 类型的模型。您的第二个陈述不清楚（权重与输出相互作用），所以我将尝试在下面分解：

非线性变换（例如多项式回归、逻辑单元等）经常被误读为模型参数（非线性模型）中的非线性。

作为一个例子，让我们看一下前馈神经网络架构。为了 $f(x)$ 激活函数和 $w,b$ 权重和偏差，来自前馈网络第一层的神经元的输出如下所示：

a_{11} = f (w_{11} x_{1} + w_{12} x_{2} + . . + b_{1})

$a_{11}=f(w_{11}x_1 + w_{12}x_2 + .. +b_1)$

而来自该神经网络第二层神经的神经元的输出看起来像：

$a_{21}=f(w_{21}a_{11}+ w_{22}a_{22} + .. + b_2)$ , 并给定 $a_1$ 多于 $\Rightarrow a_2=f(w_2w_1x+w_2b1+b2)$

a_{21} = w_{21} w_{11} x_{1} + w_{21} w_{12} x_{2} + . . + b_{2}

$a_{21}=w_{21}w_{11}x_1 + w_{21}w_{12}x_2+ .. + b_2$

参数之间的乘法（这里 $w_1w_2$ ) 是什么使模型非线性。为了获得您需要：

多层或
激活函数的非线性，例如，如果 $f(x)=x^2$ 甚至神经网络第一层的输出也会是 $a_{11}=w_{11}^2x^2 + b_2^2+w_{11}b_1x$ 有资格作为参数乘法 $w_{11}^2$ 因子和具有附加误差的非线性关系的非线性模型。

希望能帮助到你

其它你可能感兴趣的问题