通用逼近定理基本上表明,具有包含有限数量神经元的单个隐藏层的前馈网络可以在的紧凑子集上逼近连续函数。
让我们定义一个向量的单调函数来表示任何实值使得对于任何两个向量和,
向量值函数的情况类似。
具有单个隐藏层的前馈网络是否包含有限数量的神经元,并且其链接权重是非负的(但其偏差仍然不受约束)的紧凑子集上逼近连续单调函数吗? ?
通用逼近定理基本上表明,具有包含有限数量神经元的单个隐藏层的前馈网络可以在的紧凑子集上逼近连续函数。
让我们定义一个向量的单调函数来表示任何实值使得对于任何两个向量和,
向量值函数的情况类似。
具有单个隐藏层的前馈网络是否包含有限数量的神经元,并且其链接权重是非负的(但其偏差仍然不受约束)的紧凑子集上逼近连续单调函数吗? ?
我不确定单个隐藏层是否足够,但可以证明,如果您的输入在中,则最多需要个隐藏层。参见https://ieeexplore.ieee.org/document/5443743中的定理 3.1
定理 3.1:对于任何连续单调非减函数,其中是的紧子集,存在一个前馈神经网络,最多个隐藏层,权重为正,并输出使得,对于任何和。