多层感知器（MLP）理论上可以逼近任何有界的连续函数。不能保证不连续的功能。有很多重要的不连续函数，比如素数计数函数。

素数计数功能 $\pi(n)$简单地等于小于或等于的素数个数$n$. 它对每个素数都有不连续性$p$，祝你好运，尝试用神经网络来近似这个！

然而，这个函数被广泛研究并且在数论中极其重要。参见黎曼假设。

虽然我不熟悉任何关于多层感知器 (MLP)无法学习的明确陈述，但我可以提供一些关于您对 MLP 功能所做的积极陈述的更多细节：

具有单个隐藏层的 MLP 能够实现通常称为“通用函数逼近”的功能，即它可以将任何有界连续函数逼近到任意准确度。使用两个隐藏层，边界限制被移除[Cybenko, 1988]。

本文继续证明这适用于广泛的激活函数（不一定是非线性的）。3 层 MLP 也能够表示任何布尔函数（尽管它们可能需要指数级的神经元）。

另请参阅CS SE 关于其他通用逼近器的这个有趣的答案。