理想情况下，您应该以与选择最佳模型超参数相同的方式选择特征，并使用验证集。

您对这些功能如何处理看不见的数据感兴趣，而不是您的训练数据。

根据您的特征选择算法，特征搜索将难以处理更大的数据。朴素的特征选择是 O(2^n) 并且某些模型超参数可能取决于您选择的特征。

一种潜在的方法：

1. 使用大部分数据构建尽可能准确的模型：使用交叉验证进行参数调整。准确性应在样本外数据上进行测试。或者使用默认xgboost参数并继续执行步骤 2。
2. 使用调整参数评估特征重要性：在随机数据子集上构建多个模型（在每个模型中使用来自 (1) 的同一组调整参数）并提取特征重要性。您在 bagging 中越积极，您需要构建的模型就越多。那就是：更小的子样本 -> 更多的模型。
3. 组合/聚合来自模型的特征重要性度量以获得最重要的特征。