使用逻辑函数作为二元分类模型的动机是什么?

机器算法验证 回归 物流
2022-04-02 07:32:51

用于二元分类的逻辑回归使用逻辑函数作为结果变量潜在概率的模型。

它具有一些对拟合此类模型有用且必不可少的属性。例如,它是单调递增的,当 x 趋于无穷时它趋于 1,当 x 趋于负无穷时它趋于 0,它从不是 0 也不是 1(无论输入如何,都允许任一结果的正概率)。但是,还有其他满足这些属性的功能选项。

那么逻辑函数只是为了方便而使用,还是有其他动机为什么逻辑函数是“正确的”或唯一适合使用的函数?

2个回答

选择逻辑函数作为从一个或多个变量估计概率的“默认”方法有几个原因。这里有几个:

  1. 历史,例如剂量反应曲线
  2. 当与模型右侧的回归规范一起使用时,回归效应是可以解释的,因为它们可以与预测变量的单独效应的优势比相关
  3. 如果您从线性判别分析中的预测变量的多元正态假设开始,则使用贝叶斯规则反转条件产生逻辑模型
  4. 形状在很多时候都适合实际数据

请注意,逻辑不用于分类,而是用于直接概率估计。

逻辑链接函数的一个技术特征是,当与 ML 估计(或具有平坦先验的后验模式)结合时,梯度方程变为

ixi(piyi)=0

也就是说,您的残差与协变量不相关(注意:是二进制)。这类似于 ols 回归。如果您有不同的链接函数 - 通过包含“权重”来修改方程式,这取决于链接函数与逻辑函数的不同程度。这样做的一个实际特征是,如果您在模型中包含截距,则拟合概率将加起来为“成功”的数量(的观察值)。对于因子变量也是如此。piyixiyi01yi=1