不要删除一个特征来找出它的重要性，而是随机化或打乱它。

运行训练 10 次，每次随机选择不同的特征列，然后比较性能。以这种方式完成后，无需调整超参数。

这是我的建议背后的理论：特征重要性

链接到与@scholle 相同的论文，但以不同的方式解释流程（书籍和论文）。

1. 您不需要多次训练模型。上面链接中描述的算法需要一个训练有素的模型开始。
2. 给定一个经过训练的模型，计算一些数据集上感兴趣的度量（本书讨论了使用训练集与测试集的优缺点）。
3. 对于同一数据集中的每个特征，将相关特征的值打乱。对于每个观察，所有其他特征和标签应保持不变。
4. 使用这个打乱的数据集（一次一个打乱的特征）对模型执行推理，并计算每次传递所需的度量。
5. 现在计算原始度量（未更改的数据集）和为每个特征传递获得的度量之间的差异（书中还提到了除以置换分数/原始分数）。

瞧！特征重要性列表是第 5 步的排序输出（按降序排列 - 值越高意味着特征对所讨论的模型更重要）。

编辑- 我应该使用训练集还是测试/开发集来做排列特征的重要性？

上面链接的书解决了这个问题。更简洁的答案可以在SKLearn 的文档中找到：

排列重要性可以在训练集或保留测试或验证集上计算。使用保留集可以突出显示哪些特征对检查模型的泛化能力贡献最大。在训练集上重要但在保留集上不重要的特征可能会导致模型过拟合。

您可以使用SHAP来做这种事情，它也会查看排列重要性。