我有一个相对较小的数据集,包含 30 个带有二进制标签的样本(16 个正样本和 14 个负样本)。对于这些样本,我还有五个连续特征。我正在尝试使用支持向量分类器 (SVC) 来完成此任务。我使用留一法交叉验证在分类任务中测试了不同特征组合和正则化强度的性能。
我发现的一件奇怪的事情是,如果我将特征 A 单独用于分类,我可能会得到 87% 的分类准确率。如果我单独使用特征 B,我可能会获得 60% 的分类准确率(即,与多数分类器基线相同)。但是结合所有的特征,我只能得到 63% 的分类准确率。尽管在大范围的正则化强度上进行了搜索,但仍然如此。
万一这很重要,我正在使用 sklearn SVC 实现,并改变正则化参数 C。
这种行为是 SVC 分类器的典型行为吗?一般来说,我对这种支持向量算法不太熟悉。