基于逻辑回归模型的特征重要性

数据挖掘 逻辑回归
2022-03-03 16:31:25

我正在一个包含约 1000 列的相当大的数据集上训练一个逻辑回归模型。

我确实使用 MinMaxScaler 应用了功能缩放。

我想知道如何解释模型生成的系数并在基于树的模型中找到类似特征重要性的东西。

我应该将系数重新缩放回原始比例以正确解释模型吗?

如果有人能阐明如何正确解释逻辑回归系数,那就太好了。

1个回答

不,您不需要重新调整系数。相反 - 如果它们被缩放,您可以将它们用作比较特征重要性的一种方式。

假设我们的逻辑回归模型具有系数 { },与不同的(缩放的)变量 { } 相关。变量的变化将导致 增加(或减少,如果为负数),即的logit函数,其中是第 i 个示例在正类中的预测概率。aixi
ΔxixiaiaiΔxilog(p^i1p^i)p^ip^i

所以,如果变量被缩放,你可以说如果更大,那么在模型中更重要。aixi