随机逻辑回归与普通逻辑回归之间的差异

机器算法验证 机器学习 物流
2022-03-16 04:42:48

我想知道随机逻辑回归(RLR) 和普通逻辑回归(LR) 之间的区别,因此,我正在阅读Meinshausen 等人的论文“稳定性选择” 。; 但是我不明白 RLR 是什么以及 RLR 和 LR 之间的区别是什么。

有人能指出我应该阅读什么来理解 RLR 吗?或者有一个简单的例子吗?

1个回答

您可能想查看此参考资料Sci-kit learn 实现了随机逻辑回归,并在此处描述了该方法。

但是要回答您的问题,这两种方法的目标差异很大。逻辑回归是关于拟合模型,而 RLR 是关于找到进入模型的变量。

香草逻辑回归是一种广义线性模型。对于二元响应,我们假设响应概率的对数几率是多个预测变量的线性函数。使用最大似然估计预测变量的系数,然后基于模型的大样本属性推断参数。为了获得最佳结果,我们通常假设该模型相当简单且易于理解。我们知道哪些自变量会影响响应。我们要估计模型的参数。

当然,在实践中,我们并不总是知道模型中应该包含哪些变量。在潜在解释变量的数量巨大且它们的值稀疏的机器学习情况下尤其如此。

多年来,许多人尝试使用统计模型拟合技术来进行变量(阅读“特征”)选择。在提高可靠性方面:

  1. 拟合一个大模型并删除具有非显着 Wald 统计量的变量。并不总是产生最好的模型。
  2. 查看所有可能的模型并选择“最佳”。计算密集且不稳健。
  3. 用 L1 惩罚项(套索风格)拟合大模型。无用的变量会适时丢弃。更好,但在稀疏矩阵中不稳定。
  4. 随机化方法 3. 取随机子集,对每个子集拟合一个惩罚模型并整理结果。选择经常出现的变量。当响应为二元时,这是随机逻辑回归。可以使用连续数据和一般线性模型来提取类似的技术。