维基百科文章有一个正式的声明。

设是一个非常量、有界和连续函数。$\varphi$

多层前馈网络是解决该问题的已发布参考。多项式激活函数不具有 universla 逼近属性。

具有无限激活函数的预印本NN涵盖了许多激活函数。它只查看单个隐藏层 NN。傅里叶分析很重要。

我强调第二个参考是预印本，因为我不能保证它的准确性。Leshno et alt 1993 是经过审查的出版物。

Kurt Hornik 1991 年的论文“多层前馈网络的近似能力”证明“标准多层前馈网络具有少至单个隐藏层以及任意有界和非常量激活函数是关于性能标准的通用逼近器，对于任意有限输入环境测量，只要有足够多的隐藏单元可用。” 换句话说，假设我们可以在神经网络中使用尽可能多的隐藏单元，激活函数是有界和非常数的假设足以逼近几乎任何函数。该论文应在此处提供：http: //zmjones.com/static/statistical-learning/hornik-nn-1991.pdf$L^P(\mu)$$\mu$

我们必须区分浅层神经网络（一个隐藏层）和深层神经网络（多个隐藏层），因为它们是有区别的。

我在下面写的内容也可以在维基百科页面Universal Approximation Theorem上找到。

浅层神经网络： Pinkus 在1999 年表明，具有连续激活函数的浅层神经网络在紧集上具有通用逼近属性$K\subseteq \mathbb{R}$ 当且仅当激活函数是非多项式的。同一篇文章提到，一些不连续函数也可以用作激活函数，同时保留网络的通用逼近属性。

深度神经网络：有多种不同的结果。其中之一是 Kidger 和 Lyon 的作品，来自2020 年。在这里，他们表明深度神经网络在紧集上具有通用逼近属性$K\subseteq\mathbb{R}$当它们的激活函数为：

• 连续的
• 非仿射（即不是次数小于 2 的多元多项式）
• 可与至少有一点不为 0 的连续导数微分（确切的技术公式稍微严格一些）。

这显示了深度神经网络和浅层神经网络之间的差异之一，即当激活函数是（非仿射）多项式时，深度神经网络仍然具有通用逼近属性。

在文章中，Kidger 和 Lyon 以多种方式扩展了结果。例如，他们表明，对于一些连续但无处可微的激活函数，结果仍然成立。