首先，我们应该说没有任何非线性/激活的神经网络的单个仿射层实际上与线性模型相同。在这里，我们指的是具有多层和激活函数的深度神经网络（非线性如 relu、elu、tanh、sigmoid 等）

其次，非线性和多层引入了非凸且通常相当复杂的误差空间，这意味着我们有许多局部最小值，深度神经网络的训练可以收敛到这些最小值。这意味着必须调整许多超参数才能到达误差空间中的某个位置，该位置误差足够小，以便模型有用。

许多可以从 10 开始并达到 40 或 50 的超参数使用高斯过程进行贝叶斯优化来优化它们，但仍然不能保证良好的性能。

他们的训练速度非常慢，并且添加了超参数的调整使其更慢，相比之下，线性模型的训练速度要快得多。这引入了严重的成本效益权衡。

训练有素的线性模型具有可解释的权重，并为数据科学家提供有用的信息，了解各种特征如何在手头的任务中发挥作用。