我认为@ShubhamPanchal 的回答有点误导。是的，确实，通过 Cybenko 的普遍逼近定理，我们可以逼近$f(x)=x^2$具有包含有限数量神经元的单个隐藏层可以在紧凑子集上逼近连续函数$\mathbb{R}^n$，在激活函数的温和假设下。

但主要问题是该定理有一个非常重要的局限性。该函数需要在一个紧凑的子集上 定义$\mathbb{R}^n$（紧凑子集 = 有界 + 封闭子集）。但是为什么会有问题呢？在训练函数逼近器时，您将始终拥有一个有限的数据集。因此，您将在一个紧凑子集中近似函数$\mathbb{R}^n$. 但我们总能找到一点$x$近似可能会失败。话虽如此。如果你只想近似$f(x)=x^2$在一个紧凑的子集上$\mathbb{R}$那么我们可以用yes来回答您的问题。但是如果你想近似$f(x)=x^2$对所有人$x\in \mathbb{R}$ 那么答案是否定的（我排除了使用二次激活函数的琐碎情况）。

关于泰勒近似的旁注：您始终必须记住，泰勒近似只是局部近似。如果您只想在预定义区域中近似函数，那么您应该能够使用泰勒级数。但近似$\sin(x)$ 由泰勒级数评估为 $x=0$ 会给你可怕的结果 $x\to 10000$ 如果您在泰勒展开式中没有使用足够的项。

神经网络也被称为基于通用函数逼近定理的通用函数逼近。它指出：

在人工神经网络的数学理论中，通用逼近定理指出，在激活函数的温和假设下，具有包含有限数量神经元的单个隐藏层的前馈网络可以逼近 Rn 的紧凑子集上的连续函数

这意味着具有非线性激活函数的 ANN 可以映射将输入与输出相关联的函数。功能$y = x^2$可以很容易地使用回归 ANN 来近似。

您可以通过笔记本示例在此处找到出色的课程。

此外，由于这种能力，ANN 可以映射复杂的关系，例如图像与其标签之间的关系。

是的，从理论上讲，它们可以逼近任何函数。

其他答案非常详细和彻底。但是，让我补充一个有趣的方面：​​当您尝试逼近非常简单的函数时，如果您发现您将训练的大多数模型都会失败，请不要绝望。这是因为简单的函数需要简单的模型，而简单的模型（即参数数量非常少的模型）对于权重的随机初始化极其不鲁棒。因此，您训练的 10 个网络中的 9 个很有可能会在最初相对简单的任务中失败。

幸运的是，这y = x**2是一个凸优化问题，这意味着对于梯度下降，初始化并不重要。