用于分类和回归的 SVM 都是通过成本函数优化函数，但区别在于成本建模。

考虑一下用于分类的支持向量机的图示。

由于我们的目标是两个类的良好分离，我们尝试制定一个边界，在最接近它的实例（支持向量）之间留下尽可能宽的边距，尽管实例落入这个边距是可能的产生高成本（在软保证金 SVM 的情况下）。

在回归的情况下，目标是找到一条曲线，使点与它的偏差最小。对于 SVR，我们也使用边距，但目标完全不同 - 我们不关心位于曲线周围某个边距内的实例，因为曲线在某种程度上适合它们。这个边距由SVR落在边际范围内的实例不会产生任何成本，这就是我们将损失称为“epsilon-insensitive”的原因。$\epsilon$

对于决策函数的两边，我们分别定义了一个松弛变量来解释 -zone 之外的偏差。$\xi_+, \xi_-$$\epsilon$

这给了我们优化问题（参见 E. Alpaydin，机器学习简介，第 2 版）

$$min \frac{1}{2} ||w||^2 + C\sum_{t} (\xi_+ + \xi_-)$$

受制于

$$r^t - (\textbf{w}^T \textbf{x} + w_0) \leq \epsilon + \xi_{+}^{t}\\ (\textbf{w}^T \textbf{x} + w_0)-r^t \leq \epsilon + \xi_{-}^{t}\\ \xi_{+}^{t},\xi_{-}^{t} \geq 0$$

回归 SVM 边缘之外的实例会在优化中产生成本，因此，作为优化的一部分，旨在最小化该成本可以优化我们的决策函数，但实际上并没有像 SVM 分类那样最大化边缘。

这应该已经回答了您问题的前两部分。

关于你的第三个问题：正如你现在可能已经知道的那样，是 SVR 情况下的一个附加参数。常规 SVM 的参数仍然存在，因此惩罚项以及内核所需的其他参数，例如。$\epsilon$$C$$\gamma$