假设我想在的最小值。然后我有3个选择：$f(x)$$x_m$

1. 最小值是一定精度内$x_m$
2. 最小值在的右侧（并适当地更新我的初始猜测）$x_m$
3. 最小值在的左侧（并适当地更新我的初始猜测）$x_m$

所以：

1. 如果接近（在所需精度内）最小值，则此时的导数将（大约）为零（基本分析）。$x_m$
2. 如果最小值在的右侧（比如说），那么将具有负斜率（导数的负值指向最小值的方向）。$x_m$$x_{m'}$$f'(x_m)$
3. 如果最小值在的左侧（比如说），那么将具有正斜率（导数的负值指向最小值的方向）。$x_m$$x_{m'}$$f'(x_m)$

到目前为止，导数似乎是用来更新我最初的猜测的好选择。如果还考虑幅度，我们有：

1. 如果接近（在所需精度内）最小值，则此时的导数将（大约）为零。$x_m$
2. 如果最小值在的右侧或左侧（可以说），则将具有非零幅度，随着离最小值最远，该幅度变得更大。$x_m$$x_{m'}$$f'(x_m)$$x_m$

所以也可以使用微分大小。

到目前为止，我们已经观察并推断出：或者：是一个很好的方案更新我的猜测。$x_{m'}-x_m = \Delta x \sim -f'(x_m)$$x_{m'} = x_m - \lambda f'(x_m)$

$\lambda$（学习率）是满足两件事的必要参数：

1. 如果和具有不同的物理尺寸，则它会适当地缩放导数以匹配的尺寸。$x$$f'(x)$$x$
2. 它允许调整学习率，以免超过所需的最小值或太慢，以防导数有一些临界点。

参考：

1. 梯度下降
2. 为什么梯度符号不足以找到最陡峭的上升