组合两个线性感知器如何创建非线性边界?

数据挖掘 神经网络 深度学习 线性回归 感知器
2022-02-15 14:31:14

我不明白你从结合两个线性感知器得到的方程是非线性的吗?

视频从两个线性感知器开始,方程如下:

e1=5x12x28=0e2=7x13x2+1=0

注意:偏差单位符号在书面方程和神经网络图之间翻转。我使用的是负号,因为它在整个视频的其余部分中都在继续

然后我们继续将它们与各自的权重和偏差结合起来,如下所示:

7e1+5e26=0
当我做数学时,我得到:
7e1+5e26=0
7(5x12x28)+5(7x13x2+1)6=0
35x114x256+35x115x2+56=0
70x129x257=0

得到的方程是非常线性的,但是,想法是这会生成一个非线性方程(和模型)。

我在组合这两个模型的方式上做错了什么?

1个回答

您是正确的,将具有线性激活函数的两层堆叠在一起不会做任何单层无法做到的事情(即它仍然是术语的线性组合)。

一旦您使用其他激活功能,这种情况就会改变。然后,一旦你将上一层的神经元组合到下一层,例如w0+w1f(e1)+w2f(e2)对于一些合适的激活函数f如 ReLU、sigmoid 函数等,然后将几个这样的层堆叠在一起,可以得到实质上更复杂的函数关系。