正如 highBandwidth 所暗示的那样,这取决于您使用的是线性 SVM 还是非线性 SVM(如果不使用内核,那就是迂腐的,它是最大边际线性分类器而不是 SVM)。
最大边际线性分类器与任何其他线性分类器没有什么不同,因为如果数据生成过程意味着属性之间存在交互,那么提供这些交互项可能会提高性能。最大边距线性分类器很像岭回归,惩罚项略有不同,旨在避免过度拟合(给定合适的正则化参数值),在大多数情况下,岭回归和最大边距分类器将给出相似的性能。
将它们引入 SVM 的特征空间,其中将给出一个特征空间,其中每个轴代表一个阶或更小的单项式,参数影响不同阶单项式的相对权重。因此,具有多项式核的 SVM 等效于在属性空间中拟合多项式模型,该模型隐含地包含了这些交互作用。K(x,x′)=(x⋅x′+c)ddc
给定足够的特征,任何线性分类器都可以轻松拟合数据。IIRC维空间中的“一般位置”中的 n 个点被超平面(参见 VC 维度)粉碎(以任意方式分离)。这样做通常会导致严重的过拟合,因此应该避免。最大边距分类的目的是通过添加一个惩罚项来限制这种过度拟合,这意味着可能实现最大的分离(这将需要与任何训练示例的最大偏差才能产生错误分类)。这意味着您可以将数据转换为非常高维的空间(其中线性模型非常强大),而不会导致过多的过度拟合。nn−1
请注意,某些内核会产生无限维特征空间,其中保证对于一般位置的任何有限训练样本都可以进行“简单”分类。例如,径向基函数核,其中特征空间是无限维超球面的正正交。这样的内核使 SVM 成为一个通用逼近器,它基本上可以表示任何决策边界。K(x,x′)=exp−γ∥x−x′∥2
然而,这只是故事的一部分。在实践中,我们一般使用soft-margin SVM,其中允许违反margin约束,并且有一个正则化参数来控制最大化margin之间的权衡(这是一个惩罚项,类似于在岭回归)和松弛变量的大小(类似于训练样本的损失)。然后,我们通过调整正则化参数来避免过度拟合,例如通过最小化交叉验证误差(或留一法误差的一些界限),就像我们在岭回归的情况下所做的那样。
因此,虽然 SVM可以对训练集进行简单的分类,但通常只有在正则化和核参数选择不当时才会这样做。使用任何内核模型获得良好结果的关键在于选择合适的内核,然后调整内核和正则化参数以避免过度或欠拟合数据。