基本上它们以相同的方式概括。基于内核的回归方法是转换特征，称之为$\mathbf{x}$到某个向量空间，然后在该向量空间中执行线性回归。为了避免“维度灾难”，变换空间中的线性回归与普通最小二乘法有些不同。结果是变换空间中的回归可以表示为$\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$， 在哪里$\mathbf{x_i}$是来自训练集的观察，$\phi(\cdot)$是应用于数据的变换，点是点积。因此，线性回归由几个（最好是极少数）训练向量“支持”。

所有的数学细节都隐藏在变换空间（'epsilon-insensitive tube'或其他）中完成的奇怪回归和变换的选择中，$\phi$. 对于从业者来说，还有一些自由参数的问题（通常在定义$\phi$和回归），以及特征化，这是领域知识通常有用的地方。

有关 SVM 的概述：支持向量机 (SVM) 如何工作？

关于支持向量回归 (SVR)，我发现这些来自http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) 的幻灯片非常清晰：

Matlab 文档也有一个不错的解释，另外还介绍了优化求解算法：https ://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html （mirror）。

到目前为止，这个答案已经提出了所谓的 epsilon-insensitive SVM (ε-SVM) 回归。对于任何一种回归分类，都存在一个更新的 SVM 变体：最小二乘支持向量机。

此外，SVR 可以扩展为多输出，也就是多目标，例如参见{1}。

参考：

• {1} Borchani、Hanen、Gherardo Varando、Concha Bielza 和 Pedro Larrañaga。“关于多输出回归的调查。” 威利跨学科评论：数据挖掘和知识发现 5，没有。5 (2015): 216-233。https://scholar.google.com/scholar?cluster=10208375872303977988&hl=en&as_sdt=0,14；https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf