具有多项式核的 SVM:高度奇怪的结果?

数据挖掘 机器学习 支持向量机 威卡 核心
2022-03-02 07:49:11

目前我在 WEKA 工作,使用 SMO 分类器(SVM 的实现)。对于作业,我被要求使用多项式内核,并报告从 1 到 50 的度数的结果。我需要对过度拟合发表评论,我的理解是更高的度数会导致更高的过度拟合风险。(因此,使用 10 倍交叉验证的正确分类实例的百分比应该随着程度的增加而增加)。

我的直觉对于“第一”学位是正确的,导致学位 = 10 时的比率为 99.6%。但是,当我将度数设置为 50 时,WEKA 报告的比率为 9%。

这个比率怎么可能下降(而且下降这么多)?

1个回答

将多项式内核次数设置为 50 可能会导致 SVM 严重过度拟合数据,这可以解释您所看到的 9%。增加度数有助于 SVM 进行适当的泛化,但是当您开始看到验证/测试准确度下降时,则 SVM 开始过度拟合。