最小二乘逻辑回归

机器算法验证 回归 物流 最小二乘
2022-02-08 08:15:28

我在 Hosmer & Lemeshow(和其他地方)中看到它声称逻辑回归中的最小二乘参数估计是次优的(不会导致最小方差无偏估计量)。有谁知道其他明确显示/讨论这一点的书籍/文章?谷歌和我的个人图书馆在这里没有帮助我......

2个回答

众所周知的事实是,如果模型是参数化的(即完全指定为有限数量的未知参数),并且某些规律性条件成立,则最大似然估计是渐近最优的(在常规估计量类中)。我对 UMVUE 的概念有疑问,因为 MLE 很少给出无偏估计。

为什么MLE 最优的问题相当棘手,您可以查看例如 Van der Vaart 的“Asymptotic Statistics”,第 8 章。

现在已知最小二乘法与 MLE 一致当且仅当回归中的误差项分布是正常的(您可以查看 Wikipedia 上的OLS文章)。由于在逻辑回归中分布不正常,LS 的效率将低于 MLE。

在普通线性回归中,最大化似然性等同于最小化所有误差的平方和(以及因此估计的误差方差) I 在逻辑回归中,误差不期望具有相同的方差:我们应该对p 接近 0.5,对极值 I 的方差较低导致(迭代)(重新)加权最小二乘法 (IRWLS) 方法,在我们期望 p 周围的方差较小的情况下,误差会受到更多的惩罚