首先，神经网络不是（仅仅）由它们通常用梯度下降和反向传播训练的事实来定义的。事实上，还有其他训练神经网络的方法，例如进化算法和 Hebb 规则（例如 Hopfield 网络通常与这个 Hebbian 学习规则相关联）。

神经网络和其他函数逼近器之间的第一个区别是概念上的。在神经网络中，您通常想象有一个或多个计算单元（通常称为神经元）以不同且通常复杂的方式连接。人类可以选择这些连接（或者它们也可以学习）以及这些单元在给定输入的情况下计算的功能。因此，在使用和设计神经元网络时，有很大的灵活性和复杂性，但通常也缺乏严谨性（从数学的角度来看）。

另一个区别是神经网络最初是受到生物学对应物的启发。参见Warren McCulloch 和 Walter Pitts的《神经活动内在思想的逻辑演算》（1943 年），他们在神经科学的启发下提出了人工神经元的第一个数学模型。

还有其他技术差异。例如，函数的泰勒展开通常只在域的单个值处进行，它假设要逼近的函数是可多次微分的，并且它利用了这种函数的导数。傅里叶级数通常用正弦曲线的加权和来近似函数。给定适当的权重，傅里叶级数可用于逼近某个区间内的任意函数或整个函数（如果要逼近的函数也是周期性的）。另一方面，神经网络试图逼近以下形式的函数$f: [0, 1]^n \rightarrow \mathbb{R}$（至少，这是证明神经网络普遍性的著名论文中的设置）以许多不同的方式（例如，加权和后跟 sigmoid）。

总而言之，神经网络与其他函数逼近技术（如泰勒级数或傅里叶级数）在逼近函数的方式和目的（即它们应该逼近哪些函数以及在何种上下文中）方面有很大不同。