具有2 个权重和身份激活的单个神经元可以学习加法/减法,因为 2 个权重将收敛到1 和 1(加法)或1 和 -1(减法)。
但是,对于乘法和除法,这并不容易。单个神经元可以学习乘法或除法吗?如果不是,有多少层 DNN 可以学习这些?
具有2 个权重和身份激活的单个神经元可以学习加法/减法,因为 2 个权重将收敛到1 和 1(加法)或1 和 -1(减法)。
但是,对于乘法和除法,这并不容易。单个神经元可以学习乘法或除法吗?如果不是,有多少层 DNN 可以学习这些?
实际上,紧凑体上的任何连续函数都可以通过具有一个隐藏层和有限数量的神经元的神经网络来近似(这是通用逼近定理)。因此,您只需要一个隐藏层来近似紧凑的乘法,请注意,您需要在隐藏层上应用非线性激活来执行此操作。