用正则化项解释逻辑回归系数

机器算法验证 物流 解释 回归系数 正则化 优势比
2022-03-11 06:10:18

我理解逻辑方程的系数可以解释为奇数比。如果添加正则化项来控制过度拟合,这将如何改变系数的解释?

2个回答

使用逻辑回归拟合返回标准的系数不是优势比。它们代表与各自变量中一个单位的变化相关的“成功”对数几率的变化,当其他所有条件都相同时。如果对系数取幂,则可以将结果解释为优势比(当然,截距并非如此)。更多信息可以在我的回答中找到:逻辑回归中对优势比的简单预测的解释

对模型拟合添加惩罚将(可能)改变估计系数的拟合值,但它不会改变对您的问题/上面讨论的意义上的系数的解释。*

*(我想知道这个说法的混淆是否是最近投反对票的根源。)更清楚的是:上的拟合系数, 1 个单位变化相关的对数成功几率的变化如果在拟合模型时没有使用惩罚项,并且是否使用惩罚项来拟​​合模型。在这两种情况下,它都不是优势比。然而,中 1 个单位变化相关的优势比,同样与是否使用惩罚项来拟​​合模型无关。带有惩罚项的模型可以在贝叶斯框架内解释,但不一定必须如此。而且,即使是,X1β^1X1exp(β^1)X1β^1变化 1 个单位相关的对数成功几率的变化,而不是优势比。 X1

正则化线性回归和正则化逻辑回归可以从贝叶斯的角度很好地解释。正则化参数对应于对权重的先验分布的选择,例如,类似于以零为中心的正态分布,标准偏差由正则化参数的倒数给出。然后通过您的训练数据,更新这些分布,最终为您提供权重的后验分布。

因此,例如,较大的正则化参数意味着,作为先验,我们认为权重应该更接近于零,因此通过这种设置,后验分布不太可能被支持远离零——这与对正则化“应该做什么”的直觉。

对于正则化回归的大多数实现,权重的最终输出只是后验分布的期望值。

顺便说一句,非正则化回归基本上可以用相同的方式解释:它是正则化参数变为零的极限。