机器算法验证 - SVM 优化中的线性约束 - 吾爱随笔录

$\newcommand{\loss}{\operatorname{loss}}$ 最近我正在研究不同的 SVM 优化算法。我遇到了一个奇怪的场景：

当我们制定如下的 SVM 原始问题时，

min_{w} \frac{1}{2} w^{T} w + C \sum_{i = 1}^{m} loss (w, x_{i}, y_{i}),

$\min_w \frac{1}{2}w^Tw + C\sum_{i=1}^{m}\loss(w, x_i, y_i),$

such that y_{i} (w^{T} x_{i} + b) \geq 1 - c_{i},

$\text{such that }\quad y_i(w^Tx_i + b) \ge 1 - c_i,$ 由于线性约束，我们在对偶公式中会有以下约束：

α^{T} y = 0,

$\alpha^Ty = 0,$ 这意味着我们需要一次至少优化两个变量。

但是有些论文会在无约束版本中制定 SVM 问题，简单地说：

min_{w} \frac{1}{2} w^{T} w + C \sum_{i = 1}^{m} loss (w, x_{i}, y_{i}) .

$\min_w \frac{1}{2}w^Tw + C\sum_{i=1}^{m}\loss(w, x_i, y_i).$ 然后因为我们不再有线性约束，我们可以应用坐标下降等方法，一次只更新一个变量。

我很困惑，这两种 SVM 公式有什么区别？