具有非多项式激活函数的多层前馈网络论文可以逼近任何函数（Leshno 等人，1993 年）提供了一个声称这一点的定理以及附录中的定理（相当长的）证明。

在快速阅读之后，在我看来，他们没有提供一个非常直观的解释来解释为什么（有界、非常量和不一定连续）激活函数的非多项式是必要和充分的（这是一个如果且仅如果结果，请参阅第 4 页的最后一段），以了解单层神经网络来逼近任何连续函数。

定理 (p. 10) 正式指出神经网络可以计算的所有可能函数的集合，表示为$\Sigma_n$, 是稠密的$C(\mathbb{R}^n)$, 的连续函数集$\mathbb{R}^n$到$\mathbb{R}$（并且在$C(\mathbb{R}^n)$是“神经网络可以逼近任何连续函数”的等效数学陈述）。要理解这一点，您需要了解什么是密集（子）集。要理解这一点，您需要了解什么是集合的闭包$S$是：直观地说，它是所有点的集合$S$加上集合附近的点$S$.

为了证明这个定理（第 12 页），他们分 7 步进行，所以这是一个很长的证明。

例如，在第 1 步中，他们显示（或仅声明）如果激活函数$\sigma$是多项式，那么$\Sigma_n$不稠密$C(\mathbb{R}^n)$. 他们得出的结论是$\Sigma_n$，具有这样的激活函数，将是一组多项式，在$C(\mathbb{R}^n)$（不知道为什么会这样，但这里有一个老问题正好问这个问题；我认为理解这将是直观理解定理的重要一步）。

我现在不打算复习所有步骤，但是，如果你花一些时间阅读这篇论文，你应该会知道为什么激活函数的非多项式对于神经网络逼近任何形式的连续函数$f : \mathbb{R}^n \rightarrow \mathbb{R}$. 如果这不是很有用，您可以尝试阅读其他相关（但更长）的论文Approximation theory of the MLP model in neural networks（Pinkus，1999 年）。

所以，我不会说非多项式是复杂性要求，而是逼近连续函数的理论要求。

（顺便说一句，我认为第 6 页有错字。他们写道$f_\omega : \mathbb{R} \rightarrow \mathbb{R}^n$表示神经网络计算的函数，但我很确定他们的意思$f_\omega : \mathbb{R}^n \rightarrow \mathbb{R}$; 事实上，之前，他们假设神经网络有$n$输入和$1$输出）。