在一组 9 个特征上,我使用 SVM 估计器应用了递归特征消除 (RFE) 算法,遵循 (1) 中的方法。当请求找到大小为 1 的子集时,RFE 返回特征 X。
然而,当我对每个特征单独训练 SVM 时,我发现另一个特征 Y 比在 X 上训练的 SVM 具有更高的准确度。
我认为 RFE 可以找到精度最高的特征。
我对RFE的理解错了吗?
在一组 9 个特征上,我使用 SVM 估计器应用了递归特征消除 (RFE) 算法,遵循 (1) 中的方法。当请求找到大小为 1 的子集时,RFE 返回特征 X。
然而,当我对每个特征单独训练 SVM 时,我发现另一个特征 Y 比在 X 上训练的 SVM 具有更高的准确度。
我认为 RFE 可以找到精度最高的特征。
我对RFE的理解错了吗?
不,RFE 不能保证它找到具有最佳分数的特征子集。
与大多数贪心过程一样,RFE 的目的是降低计算成本(为每个特征子集),代价是可能找不到实际的最优值(但希望“足够接近”)。
另请参阅https://stats.stackexchange.com/questions/232461/question-about-recursive-feature-elimination