只有当我们使用线性激活函数（即$\sigma(x) = x$)，并且只有在我们不使用任何神经网络特定技术如卷积、残差等的情况下，如下图所示：

$\text{neural network}(x) = \sigma_n(W_{n} \sigma_{n-1}(W_{n-1}\dots\sigma_1(W_1 x + b_1) + \dots + b_{n-1}) + b_n) \\ = W_n (W_{n-1} \dots (W_1 x + b_1) + \dots + b_{n-1}) + b_n \\ = \left( W_n W_{n-1} \dots W_1 \right) x + \left( W_n W_{n-1} \dots W_2 \right) b_1 + \left( W_n W_{n-1} \dots W_3 \right) b_2 + \dots + W_n b_{n-1} + b_n \\ = W_z x + b_z$

在哪里$W_z = \displaystyle \prod_i W_i$是一个权重矩阵并且$b_z$是一些向量常数。

这遵循线性回归模型形式$y = Wx + b$， 在哪里$W$是权重矩阵和$b$是向量常数。因此，您可以分析求解$W_z$和$b_z$使用线性回归技术，不再需要梯度下降。

请注意，要使其作为线性回归正常工作，您需要检查 OLS 数据假设，例如确保回归量没有共线性，残差没有异方差，没有自回归，并且误差大致为正态分布（更多信息）。具有非线性激活函数的深度神经网络不需要这些假设，因为它们是通用逼近器，尽管检查某些条件可能有助于使任务更容易预测（更多信息*）。

*注意 - 此链接专门讨论了具有神经网络的时间序列数据，但同样的概念通常适用于任何任务。

神经网络特定的技术，如 ReLu、卷积、残差等，使网络能够学习非线性关系，因此使神经网络不仅仅是线性回归的重复应用。

用神经网络拟合线性回归模型（例如 OLS）是没有意义的，因为它实际上是为非线性模型设计的。但如果你想这样做，你只需要设置线性激活单位。

一般来说，你可以这样说：

1. 神经网络学习（我在这里假设一个“香草”ANN，没有 CNN 或 RNN 或任何东西）和线性/逻辑回归之间存在关系。

2. 但它们不是一回事。只是相关。您也许可以将他们视为“表亲”，以使用现实生活中的类比。

最大的明显区别是：标准线性回归是线性的，也就是说，它基于一条直线。所以它只能分离平面上的点，这些点可以通过在该平面上绘制的直线分开。然而，人工神经网络是非线性的，可以适应各种疯狂的曲线。这是真的原因与所使用的“激活”功能的组合以及隐藏层的分层效果有关。

公平地说，如果将线性回归扩展为多项式回归，则可以拟合更复杂的曲线，但这也有其缺点。虽然它们也是相关的，但线性回归和多项式回归并不是 - 严格来说 - 相同的东西（尽管它们可能都是相同通用技术的特殊情况）。

所有这些可能都过于简单化了。如果您真的想很好地解释线性/逻辑回归和 ANN 以及它们之间的关联和不同之处，我推荐 Andrew Ng 在 Coursera 上的 ML 课程。原始版本和新的 DeepLearning.ai 版本。