简单的答案是，您应该在不同于您训练的数据集上进行特征选择（您已经在这样做，所以不要更改它）——不这样做的效果是您将过度拟合您的训练数据。你也不能在你的测试集上进行特征选择，因为这会夸大你的模型性能的估计（我想你也已经意识到了这一点，但我发现准确理解这个问题有点困难）。

如果您已经将测试集划分为训练、验证和测试，那么没有特别的理由进行交叉验证，除非您的数据太少以至于您的测试集太小而无法从中得出强有力的结论。许多研究人员不喜欢交叉验证，因为如果用于推动模型开发（我的意思是，你调整一些东西，然后运行交叉验证以查看它们是如何做的，然后再调整它们等等）你可以有效地访问你的测试数据，这可能会导致您高估您在真正看不见的数据上的表现。如果您的数据太小以至于您别无选择，只能进行交叉验证，那么使用训练集、开发集和测试集执行此操作的正确方法是将数据显式拆分为每个折叠的三个部分——应该使用大多数为了训练，一些用于开发（您的情况下的功能选择，以及需要拟合的任何其他免费参数），最后您应该在测试部分进行测试。然后，您可以对这些测试部分的分数进行平均，以获得对模型性能的估计：但是，正如我所说，请注意，如果这些分数被用来指导您解决问题的方法，您不应该期望得到与您在交叉验证中所做的未见数据相同的分数。

我认为这是有偏见的。如何在 N-1 分区中应用 FS 并在最后一个分区上进行测试。并以某种方式（联合/交集/或某些特定问题的方式）组合所有折叠的特征。

你试过LOOCV吗？我认为当你的训练数据非常少时，它很容易训练。要回答您的问题，这不会仅仅因为它可能会过度拟合并给您带来误导性的结果，从而不会给您最好的结果，这样您的分类器就不会在它没有看到的其他数据上表现出色。

您可以执行以下操作来比较分类器的性能

使用您的训练集并在每个可能的特征集上对其进行训练。对于每个特征集，最小化参数并构建模型，使其很好地拟合训练集。现在，一旦为所有特征集构建了模型，即您为每个特征集都有一个模型，在验证集上验证模型（基于不同的特征集构建）并选择该模型（为特征集的特定子集构建) 给出了验证集上的最小误差。这样，您可以确保构建的模型不仅适合训练集，还适合验证集。

现在，使用这个构建的模型并在测试集上对其进行测试。这将告诉您分类器在既不用于训练也不用于验证的数据集上运行时的性能。此外，您选择了适合训练集和验证集的特征集。