为简单起见，假设我们要解决一个回归问题，其中我们有一个自变量和一个因变量，我们想要预测它们。我们还假设自变量和因变量之间存在非线性关系。
不管我们怎么做，我们只需要根据现有的观察建立一条合适的曲线，这样预测是最好的。
我知道我们可以用神经网络解决这个问题，但我也知道创建此类曲线的其他方法。例如：
样条
克里金法
低度
我认为也可以工作（不知道是否存在）：使用一系列傅立叶正弦波拟合曲线，等等
我的问题是：
神经网络真的只是将非线性曲线拟合到数据的方法之一吗？
与其他方法相比，选择神经网络有哪些优点和缺点？（也许当我有很多自变量时它会变得更好，还有一个小小的猜测：也许神经网络在省略线性因输入变量的影响方面更好？）
从某种意义上说，你说得对，神经网络只是另一种拟合数据的工具。然而，它是相当的工具！有一个通用逼近定理说，在适当的条件下，神经网络可以尽可能接近各种函数。这意味着如果这是正确的趋势，您可以让网络为您提供带有曲线的复杂形状。
通用逼近定理是一个很大的优势。您不必指定要使用正弦曲线或特定类型的样条进行建模。你只需让计算机为你解决这个问题。结果是能够对复杂模式进行建模并做出准确的预测。缺点是建模可以发现数据中看似趋势但实际上并非如此的巧合。这会导致过拟合。当您的目标是做出准确的预测时，过度拟合的模型对您毫无用处。第二个缺点是神经网络难以解释。第三个缺点是它们可能需要很长时间来训练，而线性回归只是一个矩阵求逆和几个矩阵乘积（）。
神经网络可以求解所有泰勒级数多项式，这意味着 NN 是一个广义线性模型。大多数函数 f(y) 可以用神经网络求解。然而，许多矩阵运算不能推广到神经网络来解决类似的行列式。旋转、缩放和变换等操作也不能一概而论。
您可以使用神经网络解决所有普通的最小二乘公式和一般线性模型公式。大多数n阶多项式曲线拟合可以通过神经网络求解：样条、b样条、nurbs可以通过神经网络求解。