编辑 - 看到一些答案后的澄清：

DWin 的回复提供了答案，但缺乏洞察力，所以我认为提供一些解释可能会很有用。

如果您有两个班级，您基本上是在尝试估算$p=P(y_i=1|X=x_i)$. 这就是您所需要的，逻辑回归模型假设：

$log \frac{p}{1-p} = log \frac{P(y_i=1|X=x_i)}{P(y_i=0|X=x_i)}=\beta _0 + \beta _1 ^T x_i$

我认为您所说的功能的重要性是什么意思$j$它是如何影响的$p$或者换句话说，什么是$\frac{\partial p}{\partial x_{ij}}$.

经过一个小的改造，你可以看到

$p=\frac{e^{\beta _0 + \beta _1 ^T x_i}}{1+e^{\beta _0 + \beta _1 ^T x_i}}$.

一旦你计算出你的导数，你就会看到

$\frac{\partial p}{\partial x_{ij}} = \beta_j e^{\beta_0 + \beta _1 ^T x_i}$

这显然取决于所有其他变量的值。但是，您可以观察到系数的 SIGN 可以按照您想要的方式解释：如果它是负数，则此特征会降低概率 p。

现在在您的估算过程中，您正在尝试估算$\beta$假设你的模型是正确的。通过正则化，您可以在这些估计中引入一些偏差。对于岭回归和自变量，您可以获得封闭形式的解决方案：

$\hat{\beta^r} = \frac{\hat{\beta}}{\hat{\beta} + \lambda}$.

正如你所看到的，这可以改变你的系数的符号，所以即使是这种解释也会分裂。

你最后一个问题的答案是肯定的。系数的大小绝不是衡量重要性的标准。套索可用于逻辑回归。你需要更加刻苦地研究这个领域。您需要学习的方法是那些涉及“惩罚”方法的方法。如果您正在寻找发现“阴影”预测变量的检测方法，该术语可能在某处定义但不被普遍使用，那么您需要寻找检查预测空间内的交互和非线性结构的方法以及结果与该空间的联系。在 Frank Harrell 的著作《Regression Modeling Strategies》中对这些问题和方法进行了相当多的讨论。

后向选择策略将无法提供有效的结果（尽管它确实提供了结果）。如果您查看 100 个事件的 20 个随机预测变量的案例，您可能会发现 2 或 3 个将通过向后选择过程进行选择。现实世界中后向选择的盛行反映的不是仔细的统计思想，而是它在 SAS 和 SPSS 中的易用性以及这些产品的用户群缺乏复杂性。R 用户群很难访问在邮件列表上发布请求的此类方法和用户，因此他们通常会被告知与向后（或向前）选择方法有关的问题。

英语不是我的母语，所以我可能不明白你的问题是什么，但如果你需要找到最好的模型，你可以尝试使用反向过程（并最终添加交互），从具有所有协变量的模型开始。然后，您可以同时查看 residuals_vs_predicted 值和 qq 图，以检查模型是否能很好地描述您的现象