我知道在支持向量机模型的对偶形式中，特征向量仅表示为点积。将特征向量映射到更高维空间可以容纳在原始特征空间中不能线性分离的类，但是计算这种映射并使用更高维特征向量在计算上是禁止的。相反，内核可用于有效地计算与映射向量的点积相同的值。
支持向量机如何避免过拟合？最大化决策边界的边距是他们使用的唯一技巧，还是我错过了什么？
支持向量机如何避免过拟合？
机器算法验证
支持向量机
2022-03-20 04:16:10
1个回答
最大化边距并不是唯一的技巧（尽管它非常重要）。如果使用非线性核函数，那么核函数的平滑度也会影响分类器的复杂度，从而影响过拟合的风险。例如，如果您使用径向基函数 (RBF) 内核并将比例因子（内核参数）设置为非常小的值，则 SVM 将倾向于线性分类器。如果使用较高的值，分类器的输出将对输入的微小变化非常敏感，这意味着即使最大化边距，您也可能会过度拟合。
不幸的是，SVM 的性能可能对正则化和核参数的选择非常敏感，并且在通过例如交叉验证调整这些超参数时可能会过度拟合。支持 SVM 的理论并没有阻止这种形式的模型选择过度拟合。请参阅我关于此主题的论文：
GC Cawley 和 NLC Talbot，模型选择中的过度拟合和性能评估中的后续选择偏差，机器学习研究杂志，2010 年。研究，第一卷。11，第 2079-2107 页，2010 年 7 月。
其它你可能感兴趣的问题