导数$f'(x)$与$f(x)$ 在某种意义上。实际上，$f'(x)$是一个函数$f$，所以我们甚至可以说存在因果关系。

特定点的导数$c$域的，即$f'(c)$, 可以是负数也可以是正数。如果$f'(c) > 0$， 然后$f(c)$正在增加（相对于$x$）。如果$f'(c) < 0$， 然后$f(c)$减少（相对于增加$x$）。

从一个例子中可以很容易地看出这一点。考虑$f(x) = x^2$， 然后$f'(x) = 2x$. 让$c = 2$， 然后$f'(2) = 4$，所以函数是递增的。实际上，$f(1) = 2 \leq f(2) = 4 \leq f(3) = 9$. 同样，让$c = -1$， 然后$f'(-1) = -2$，所以函数是递减的。实际上，$\leq f(-2) = 4 \geq f(-1) = 1 \geq f(0) = 0$（请注意，随着我们的增加，函数正在减少$x$！）。

考虑一个只有一个参数的模型，那么损失函数对该参数的偏导数对应于损失函数的导数。因此，上述推理适用于该模型。具有多个参数的模型呢？同样的事情也会发生。

如果函数减小，它的导数是否也会减小？一般来说，不会，这可以从函数及其导数的图中很容易看出。例如，考虑一个抛物线及其导数（它是一个线性函数）的图。

在 y 轴的左侧，抛物线在减小，但它的导数在增加，而在 y 轴的右侧，抛物线在增加，线性函数仍在增加。

这与 ML 模型的损失函数及其偏导数相同。