标准特征重要性只是告诉您在构建模型时哪些特征更有用。它们不应被解释为预测变量和目标之间的直接依赖关系。

作为结果：

• 如果你的模型很弱，它们就完全没用了。如果你的模型不能推广到验证数据——就像你提到的完全随机的预测变量一样——那么特征重要性就没有意义了。那是因为所有拆分都只是过度拟合训练数据而没有捕捉到任何真实趋势，所以你总结的所有 gini 杂质都是无用的
• 它们受到相关特征的强烈影响。正如你所说，这是事实。只要知道它并事先执行一些好的旧特征工程以避免具有过于相关的特征
• 它们偏向于数值和高基数特征。这绝对是个问题。有一些替代方法可以帮助缓解这种情况

因此，您不得将它们解释为“相关性”或“强度系数”，因为它们不代表与目标的依赖关系。然而，这并不意味着它们毫无用处！
一些限制缺点的替代方法是：

• 排列重要性：这些是根据验证数据计算的，因此解决了第一个过拟合问题。如果一个特征分割在训练数据上过拟合，那么它在测试数据上的重要性就会很低。此外，由于它们是根据您选择的指标计算的，因此它们更容易解释，并且在某种意义上可以被视为“强度系数”，因为它们回答了以下问题：“如果我洗牌这个预测器？”。Boruta - 在评论中提到 - 使用基于此的算法。
• Unbiased Feature Importances：这方面有很多作品，其中一个链接的是较新的作品之一。它们尚未在主要包中实现，但允许更好地测量不受上述过度拟合问题影响的重要性
• Oblivious Trees：这种用于构建树的方法（例如在 catboost 中使用）会强制在树的同一级别上对同一特征进行所有拆分。这会迫使对泛化更好的特征进行分裂，并且通常会给出对过度拟合训练的不满程度要低得多的重要性。

最后——特征重要性非常有用，有助于在使用非常强大的算法（如 GBM 和 RF）时区分重要特征和不重要特征——但是，需要谨慎使用它们并以正确的方式解释它们。同时，还有一些替代方案和包解决了经典特征重要性的一些主要缺陷，使其更易于使用和解释。

让我从 sklearn排列重要性页面复制并粘贴一条警告消息

警告：对于坏模型（低交叉验证分数）被认为不重要的特征对于好的模型可能非常重要。因此，在计算重要性之前使用保留集（或使用交叉验证更好）评估模型的预测能力始终很重要。排列重要性并不反映特征本身的内在预测价值，而是反映该特征对于特定模型的重要性。

大胆的面孔是我的。对于许多其他特征重要性度量，这个粗体句子实际上是正确的：它们测量相对于特定模型的重要性。它们不衡量独立于特定模型的特征的重要性。IMO，在这方面，“特征重要性”一词是一个不好的命名，因为无论这是特定模型中特征的重要性还是更一般意义上的特征的重要性，都是模棱两可的。根据第二个意义，“特征重要性”可以定义为特征与目标类之间的依赖程度。如果特征和目标类相互独立，那么我们可以说特征对目标并不重要。

但是这种情况并没有使特征重要性（对于特定模型）变得无用。您可能想知道模型中特征的重要性，以便解释模型的预测或了解特征如何影响预测。