人工智能 - 铰链损失函数的定义是什么？ - 吾爱随笔录

人工智能神经网络定义支持向量机二元分类铰链损失

2021-11-02 06:21:52

我遇到了用于训练神经网络模型的铰链损失函数，但我不知道它的分析形式。

我可以将均方误差损失函数（更常用于回归）写为

\sum_{i = 1}^{N} (y_{i} - \hat{y_{i}})^{2}

$\sum\limits_{i=1}^{N}(y_i - \hat{y_i})^2$

在哪里 $y_i$ 是数据集中的期望输出， $\hat{y_i}$ 是模型的实际输出，并且 $N$ 是我们数据集中的实例总数。

同样，铰链损失函数的（基本）表达式是什么？

1个回答

铰链损失/误差函数是在支持向量机的上下文中用于二分类（但也可以扩展到多类分类）的典型损失函数，尽管它也可以在神经网络的上下文中使用，如这里描述。

铰链损失函数定义如下

\begin{matrix} (1) & ℓ (y) = max (0, 1 - t \cdot y), \end{matrix}

$\ell(y) = \max(0, 1-t \cdot y) \tag{1}\label{1},$ 在哪里

$t = \{-1, 1\}$ 是标签（因此，如果您的标签在集合中 $\{0, 1 \}$ ，您必须先将它们映射到 $\{-1, 1\}$ )
$y$ 是分类器的输出（例如在线性 SVM 的上下文中， $y=\mathbf{w} \cdot \mathbf{x}+b$ ，在哪里 $\mathbf{w}$ 和 $b$ 是超平面的参数）

这意味着方程中的损失 $\ref{1}$ 总是非负的。如果您熟悉ReLU，那么您应该对这种损失很熟悉。事实上，他们的情节非常相似。

有关更多详细信息，您可能应该从相关的 Wikipedia 文章开始，然后可能是涵盖支持向量机的众多机器学习书籍之一，例如Christopher Bishop 的Pattern Recognition and Machine Learning (2006)，第 7 章（第 325 页） .

其它你可能感兴趣的问题