请注意，与不同。你试图描述的似乎是其中是一个变量。如果是高维的，有时我们只使用符号。$\frac{\partial L}{\partial \theta}$$\frac{\partial \theta}{\partial L}$$\frac{\partial L}{\partial \theta}$$\theta$$\theta$$\nabla$

梯度下降是

• 并非一切都是可微的，并且对于某些优化问题，梯度可能没有很好地定义。

• 在存在约束的情况下，可能需要扮演 Langragian 的角色而不是目标函数。$L$

• 梯度下降只是找到模型参数的一种方法。基于梯度的方法目前似乎是常态，但情况可能会发生变化。

你建议纹身的只是“渐变”或“坡度”。不是反对，只是想让你知道你在做什么。

除了你的纹身，在梯度下降中，需要最小化损失函数，这是我们在这种情况下的目标函数。

梯度下降更新规则指出，

$\Large \theta_{ij} = \theta_{ij} - \frac{\partial L}{\partial \theta_{ij}}$

在哪里$\theta$是需要优化的参数。这是梯度下降的基本方程，几乎在所有 AI/ML 任务中都用作优化算法。