神经网络原则上可以自动建模非线性（参见通用逼近定理），您需要在线性回归中使用变换（样条等）显式建模。

需要注意的是：在神经网络中过度拟合的诱惑可能（甚至）比回归更强，因为添加隐藏层或神经元看起来无害。所以要格外小心地查看样本外预测性能。

你提到线性回归。这与逻辑回归有关，后者具有类似的快速优化算法。如果您对目标值有限制，例如分类问题，您可以将逻辑回归视为线性回归的泛化。

神经网络严格来说比原始输入上的逻辑回归更通用，因为它对应于跳层网络（连接直接将输入与输出连接起来）$0$隐藏节点。

当您添加功能时$x^3$，这类似于为单个隐藏层中的几个隐藏节点选择权重。没有一个确切的$1-1$对应关系，因为要对像这样的函数进行建模$x^3$使用 sigmoid 可能需要不止一个隐藏的神经元。当你训练一个神经网络时，你让它找到自己的输入到隐藏的隐藏权重，这有可能变得更好。它也可能需要更多时间，并且可能不一致。您可以从具有额外特征的逻辑回归近似开始，然后慢慢训练输入到隐藏的权重，这最终应该比具有额外特征的逻辑回归做得更好。根据问题，训练时间可能可以忽略不计或令人望而却步。

一种中间策略是选择大量随机节点，类似于初始化神经网络时发生的情况，并固定输入到隐藏的权重。对 *-to-output 权重的优化保持线性。这被称为极限学习机。它至少与原始逻辑回归一样有效。

线性回归旨在分离线性可分的数据，是的，您可以使用额外的三次多项式，但这样您就再次指出了一些关于您定义目标函数结构的数据的假设。在神经网络中。通常，您具有为您拥有的数据创建线性分隔符的输入层和隐藏层 AND 限制某些类的区域和最后一层 OR 所有这些区域。这样，您拥有的所有数据都可以通过非线性方式进行分类，而且所有这些过程都使用内部学习的权重和定义的函数进行。此外，增加线性回归的特征数与“维度灾难”相反。此外，一些应用程序需要比常数更多的概率结果作为输出。