如果你看一下 SVM 解决的优化问题：

$\min_{\mathbf{w},\mathbf{\xi}, b } \left\{\frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^n \xi_i \right\}$

st 对于所有$y_i(\mathbf{w}\cdot\mathbf{x_i} - b) \ge 1 - \xi_i, ~~~~\xi_i \ge 0,$$i=1,\dots n$

支持向量是那些其中对应的。换句话说，它们是错误分类或接近边界的数据点。$x_i$$\xi_i \gt 0$

现在让我们比较一下当你有完整的特性集时这个问题的解决方案，以及你丢弃一些特性的情况。丢弃一个特征在功能上等同于保留这个特征，但是为我们想要丢弃 的特征$w_j=0$$j$

当您比较这两个优化问题并进行数学运算时，会发现特征数量和支持向量数量之间没有硬性关系。它可以去任何一种方式。

考虑一个简单的案例很有用。想象一个 2-dim 的情况，你的负面和正面特征分别聚集在 (-1,-1) 和 (1,1) 周围，并且可以通过具有 3 个支持向量的对角线分离超平面分离。现在想象一下删除 y 轴特征，因此您的数据现在投影在 x 轴上。如果数据仍然是可分离的，比如在 x=0 时，您可能只剩下 2 个支持向量，每边一个，因此添加 y 特征会增加支持向量的数量。但是，如果数据不再可分离，对于 x=0 错误一侧的每个点，您将获得至少一个支持向量，在这种情况下，添加 y 特征会减少支持向量的数量。

因此，如果这种直觉是正确的，如果您在非常高维的特征空间中工作，或者使用映射到高维特征空间的内核，那么您的数据更有可能是可分离的，因此添加特征将倾向于只需添加另一个支持向量。而如果您的数据当前不可分离，并且您添加了一个显着提高可分离性的功能，那么您更有可能看到支持向量的数量减少。