回答此类问题的人工智能研究分支称为计算学习理论。

对于您提出的具体问题，通用逼近定理确实证明了任何函数都可以通过足够宽的神经网络进行建模。函数的定义包括每个输入都映射到一个输出的要求，因此训练数据中的矛盾标签被明确排除。

这是一个粗略的草图，可以提供为什么这是真的背后的直觉。这不是一个适当的证明，但它让您了解隐藏层中“有限数量的神经元”的力量：

1. 单个神经元基本上可以学习在输入特征空间中画一条直线。它输出一个任意接近于 1 的值，用于线的一侧，任意接近 0 的值用于线的另一侧。
2. 对于任何给定的数据点，可以通过在输入空间中绘制一系列线并将每条线的一侧定义为超体积的“内部”来包围包含该数据点的超体积，而不是其他数据点另一边为“外”。在二维空间中，这对应于围绕一个点绘制正方形的 4 条边。
3. 输出神经元学习在隐藏层神经元的输出上画线。因此，只有当 4 个其他神经元同时处于活动状态时，它才能决定输出 1。

那么，一个足够宽的神经网络可以记住所有输入模式似乎很自然。由于记忆足以“学习”以适应模式，这应该让您对神经网络适应事物的能力有一个直觉。