我刚刚完成了对线性和逻辑回归函数及其优化的概念研究，为神经网络做准备。

---

例如，假设我们正在使用逻辑回归执行二元分类，让我们定义变量：

$x$- 包含所有输入的向量。

$y$- 包含所有输出的向量。

$w_{0}$- 偏差权重变量。

$W=(w_1,...,w_{2})$- 包含所有权重变量的向量。

$f(x_i)=w_{0}+\sum_{i=1}x_{i}w_{i}=w_{0}+x^{T}W$- 所有权重变量的总和。

$p(x_{i})=\frac{1}{1+e^{-f(x_i)}}$- 逻辑激活函数（sigmoid），表示条件概率$y_i$将是 1 给定的观察值$x_i$.

$L=-\frac{1}{N} \sum^{N}_{i=0} y_i*ln(p(x_i))+(1-y_i)*ln(1-p(x_i))$- 二元交叉熵损失函数（伯努利随机变量的 Kullback-Leibler 散度加上表示概率的激活函数的熵）

$L$是多维函数，所以必须用偏导数来微分，即：

$$\frac{\partial{L}}{\partial{w}}$$

然后，链式法则给出：

$$\frac{\partial{L}}{\partial{w_1}}=\frac{\partial{L}}{\partial{p_i}} \frac{\partial{p_i}}{\partial{w_1}}$$

经过几次计算，损失函数的导数为：

$$(y_i-p_i)*x_i$$

---

所以我们得到了损失函数的导数，所有的权重都用梯度下降分别训练。

反向传播与此有什么关系？更准确地说，当我们可以简单地插入变量并计算每一步的梯度时，自动微分的意义何在，对吗？

简而言之

我们已经计算了导数，那么当我们可以插入变量时，在每一步计算它们有什么意义呢？

反向传播只是在每次迭代中优化权重的花哨术语吗？