ReLU 并不是唯一应用于数据以产生输出的函数。每一层都是最后一层的线性变换，后面是RELU。即使一切都是负数并且 ReLU 对梯度没有贡献，关于所有模型权重的梯度几乎肯定会是非零的，除非你已经收敛到一个临界点。

简短回答：在更新机器学习架构的权重（或参数）时，您会沿着应用于经验数据和模型预测数据的损失函数的梯度移动。随着 epoch 数量的增加，这个梯度可以（并且希望会，但不是必须）减小，因此训练会继续进行。

---

例子。考虑一个最简单的“机器学习”问题：给定一组点

$$S=\{(x_1,y_1),(x_2,y_2),\dots, (x_N, y_N)\}\subset \mathbb R^2, N\in\mathbb N,$$

我们想找到这些点的最佳拟合线，即我们想找到$m,b\in\mathbb R$这样

$$f_{m,b}:\mathbb R\to\mathbb R, f_{m,b}(x)=mx+b$$

最小化二次损失

$$\mathcal L(m,b;S)=\sum_{k=1}^N (f_{m,b}(x_k)-y_k)^2.$$

现在，请注意，对于固定$S$,$\mathcal L$是一个凸函数（实际上我没有检查过这个，如果我在这里弄错了，请告诉我）并且，你可以检查一下，如果存在一个最小化器$(m^*,b^*)$的$\mathcal L$，然后“梯度下降”将收敛到这个最小化器（请注意，我的公式中有一个不幸的错误导致最小化器并不总是存在：这个错误发生在最佳拟合是一条垂直线时，不能表示为$y=mx+b$）。

请注意，如果您以$g_{m,b}=\operatorname{Relu}(mx+b)$, 即使两者的梯度$\operatorname{Relu}$和$mx+b$不必收敛到$0$当我们收敛到最小化器时。

---

更一般地说，在损失函数如何作用于权重的某些假设下（请参阅此处的定理 2.2 ），如果存在，梯度下降将始终收敛到最小化。