为什么逻辑回归不能用OLS解决

机器算法验证 回归 物流 最小二乘
2022-04-05 16:56:49

我知道我搞砸了不同的事情。但是我想更好地理解逻辑回归背后的动机是什么。

p(yi=1|xi)=(1+exiw)1

并根据 OLS

S(w)=i(yiyi^)2,在哪里y{1,0}.

如果yi^=p(yi=1|xi)并估计w通过找到最小值S(w).

为什么这是不正确的方法?

2个回答

我认为这基本上归结为您想要最小化的成本函数以估计您的参数w. 通常,对于参数估计,负对数似然最小化,您所建议的看起来像最小化Brier score我认为他们会给出非常相似的估计w(编辑:见评论)。

编辑:我应该说,这不是一个不正确的方法。

您提出的是线性概率模型,即二元因变量的 OLS 回归。不同之处在于 logit 是非线性模型,而线性概率模型(顾名思义)是线性的。最好用图形来理解这种差异。

在此处输入图像描述

如果您以平均值计算逻辑回归系数的边际效应,您可能会得到与 OLS 回归非常相似的估计值(在图中蓝线和红线相交或至少接近它)。该图还很好地显示了 OLS 在这种情况下的问题,因为您可以看到它的预测超出了理论范围,因此它可以为您提供大于 1 或小于 0 的预测概率。这两种模型都有其他优点和缺点(例如,请参阅这些讲义以获取摘要)。

从这个意义上说,您的方法没有任何“错误”。这真的取决于你想用你的模型做什么。如果您有兴趣估计解释变量对结果概率的边际效应,那么两者都可以。如果您想进行预测,那么线性概率模型不是一个好的选择,因为它的预测概率不一定介于零和一之间。