单调函数是否有通用逼近定理?

机器算法验证 机器学习 神经网络 近似
2022-04-08 15:46:09

通用逼近定理基本上表明,具有包含有限数量神经元的单个隐藏层的前馈网络可以在的紧凑子集上逼近连续函数。Rn

让我们定义一个向量的单调函数来表示任何实值使得对于任何两个向量 向量值函数的情况类似。fxy

xiyiif(x)f(y).

具有单个隐藏层的前馈网络是否包含有限数量的神经元,并且其链接权重是非负的(但其偏差仍然不受约束)的紧凑子集上逼近连续单调函数吗? ?Rn

1个回答

我不确定单个隐藏层是否足够,但可以证明,如果您的输入在中,则最多需要个隐藏层。参见https://ieeexplore.ieee.org/document/5443743中的定理 3.1Rkk

定理 3.1:对于任何连续单调非减函数,其中的紧子集,存在一个前馈神经网络,最多个隐藏层,权重为正,并输出使得,对于任何f:KRKRkkO|f(x)Ox|<εxKε>0