所有内核方法都基于距离。RBF 核函数为（使用\gamma=1表示简单）。$\kappa(\mathbf{u},\mathbf{v}) = \exp(-\|\mathbf{u}-\mathbf{v}\|^2)$$\gamma=1$

给定 3 个特征向量：

$$\mathbf{x}_1 = [1000, 1, 2], \quad \mathbf{x}_2 = [900, 1, 2], \quad \mathbf{x}_3 = [1050, -10, 20].$$

那么$\kappa( \mathbf{x}_1, \mathbf{x}_2) = \exp(-10000) \ll \kappa(\mathbf{x}_1, \mathbf{x}_3) = \exp(-2905)$，也就是说$\mathbf{x}_1$应该更类似于$\mathbf{x}_3$然后到$\mathbf{x}_2$。

和： 之间的相对差异。$\mathbf{x}_1$

$$\mathbf{x}_2 \rightarrow [0.1, 0, 0],\quad \mathbf{x}_3 \rightarrow [0.05, -10, 10].$$

因此，在没有缩放的情况下，我们得出结论更类似于而不是，即使和比和大得多。$\mathbf{x}_1$$\mathbf{x}_3$$\mathbf{x}_2$$\mathbf{x}_1$$\mathbf{x}_3$$\mathbf{x}_1$$\mathbf{x}_2$

换句话说，如果您不将所有特征缩放到可比较的范围，则具有最大范围的特征将在核矩阵的计算中完全占主导地位。

您可以在以下论文中找到简单的示例来说明这一点：支持向量分类的实用指南（第 2.2 节）。

这取决于您使用的内核。到目前为止，最常用的（除了线性）是高斯核，其形式为

$$f = exp \left ( \frac{- || x{_{1}} - x{_{2}} || ^2 }{2\sigma ^2} \right )$$

SVM 采用此函数并使用它来比较一个点 ( ) 与训练集中的每个其他点的相似性，方法是将差异求和为：$x1$

$$(x{_{1}}-l{_{1}})^2+(x{_{2}}-l{_{2}})^2...+(x{_{n}}-l{_{n}})^2$$

其中是您的示例，的值是地标。$x$$l$

如果特征的范围为 0 - 50,000，而特征的范围为 0 - 0.01，您可以看到将主导该总和，而几乎没有影响。出于这个原因，有必要在应用内核之前对特征进行缩放。$x{_{1}}$$x{_{2}}$$x{_{1}}$$x{_{2}}$

如果您想了解更多信息，我推荐 Coursera 上斯坦福在线机器学习课程的模块 12（支持向量机）（免费且随时可用）：https ://www.coursera.org/course/ml