让我们对单个数据点使用 SVM 损失函数的示例：

$L_i = \sum_{j\neq y_i} \left[ \max(0, w_j^Tx_i - w_{y_i}^Tx_i + \Delta) \right]$

其中是所需的边距。$\Delta$

我们可以根据权重来区分函数。例如，对取梯度，我们得到：$w_{yi}$

$\nabla_{w_{y_i}} L_i = - \left( \sum_{j\neq y_i} \mathbb{1}(w_j^Tx_i - w_{y_i}^Tx_i + \Delta > 0) \right) x_i$

其中 1 是指示函数，如果内部条件为真，则为 1，否则为 0。虽然表达式在写出时可能看起来很吓人，但当您在代码中实现它时，您只需计算未满足所需边距（并因此导致损失函数）的类数，然后计算数据由这个数字缩放的向量请注意，这只是关于对应于正确类对于的其他行，梯度为：$x_i$$W$$j≠{{y}_{i}}$

$\nabla_{w_j} L_i = \mathbb{1}(w_j^Tx_i - w_{y_i}^Tx_i + \Delta > 0) x_i$

一旦推导出梯度的表达式，就可以直接实现表达式并使用它们来执行梯度更新。

摘自github上发布的斯坦福 CS231N 优化笔记。

首先，请注意，多类铰链损失函数是的函数。 接下来，函数处不可微。所以，我们需要计算它的次梯度。 在第二种情况下，独立于$W_r$

$$\begin{equation} l(W_r) = \max( 0, 1 + \underset{r \neq y_i}{ \max } W_r \cdot x_i - W_{y_i} \cdot x_i) \end{equation}$$ max$0$ $$\begin{equation} \frac{\partial l(W_r)}{\partial W_r} = \begin{cases} \{0\}, & W_{y_i}\cdot x_i > 1 + \underset{r \neq y_i}{ \max } W_r \cdot x_i \\ \{x_i\}, & W_{y_i}\cdot x_i < 1 + \underset{r \neq y_i}{ \max } W_r \cdot x_i\\ \{\alpha x_i\}, & \alpha \in [0,1], W_{y_i}\cdot x_i = 1 + \underset{r \neq y_i}{ \max } W_r \cdot x_i \end{cases} \end{equation}$$ $W_{y_i}$$W_r$。上述多类铰链损失的次梯度定义类似于二元铰链损失的次梯度。