逻辑回归与 LDA 作为两类分类器

机器算法验证 回归 物流 分类 判别分析
2022-01-27 10:56:29

我试图围绕线性判别分析逻辑回归之间的统计差异。我的理解是否正确,对于一个两类分类问题,LDA 预测两个正态密度函数(每个类一个),在它们相交的地方创建一个线性边界,而逻辑回归只预测两个类之间的对数奇函数,这创建边界但不假设每个类的密度函数?

3个回答

在我看来你是对的。逻辑回归确实不假设预测变量空间中的任何特定密度形状,但 LDA 可以。以下是这两种分析之间的一些差异,简而言之。

二元逻辑回归(BLR) 与线性判别分析(有 2 组:也称为 Fisher 的 LDA):

  • BLR:基于最大似然估计。LDA:基于最小二乘估计;等效于二元预测的线性回归(系数成比例且 R 平方 = 1-Wilk 的 lambda)。

  • BLR:立即有条件地估计(组成员的)概率(预测变量本身被视为概率,观察到的概率)。LDA:通过使用条件和边际信息的分类设备(例如朴素贝叶斯)间接估计概率(预测变量被视为分箱连续变量,判别式)。

  • BLR:对于规模水平和预测变量的分布形式并不那么迫切。LDA:预测具有多元正态分布的区间水平。

  • BLR:对预测变量的组内协方差矩阵没有要求。LDA:组内协方差矩阵在总体上应该相同。

  • BLR可能完全不同LDA:组应该有相似的nn

  • BLR:对异常值不太敏感。LDA:对异常值非常敏感。

  • BLR:更年轻的方法。LDA:较旧的方法。

  • BLR:通常首选,因为不那么紧急/更健壮。LDA:在满足所有要求的情况下,通常比 BLR 分类更好(渐近相对效率高 3/2 倍)。

让我在@ttnphns 不错的列表中添加一些要点:

  • LDA 的后验类成员概率的贝叶斯预测也遵循逻辑曲线。
    [Efron, B. 逻辑回归与正态判别分析相比的效率,J Am Stat Assoc, 70, 892-898 (1975)。]

  • 虽然该论文表明,如果满足 LDA 的假设,LDA 的相对效率优于 LR(参考:上面的 Efron 论文,@tthnps 的最后一点),但根据实践中的统计学习要素,几乎没有任何区别。
    [Hastie, T. 和 Tibshirani, R. 和 Friedman, J. 统计学习的要素;数据挖掘、推理和预测 Springer Verlag,纽约,2009]

  • LDA 相对效率的大幅提高主要发生在绝对误差几乎可以忽略不计的渐近情况下。
    [ Harrell, FE & Lee, KL A comparison of discriminant analysis and logistic regression under multivariate normality, Biostatistics: Statistics in Biomedical, Public Health and Environmental Sciences, 333-343 (1985)。]

  • 尽管我在实践中遇到了 LDA 似乎优越的高维小样本情况(尽管明显不满足多元正态性和等协方差矩阵假设)。
    [贝莱特斯,C.;盖革,K。基尔希,M。索博特卡,某人;Schackert, G. & Salzer, R. 星形细胞瘤组织的拉曼光谱分级:使用软参考信息。, Anal Bioanal Chem, 400, 2801-2816 (2011)。DOI: 10.1007/s00216-011-4985-4 ]

  • 但请注意,在我们的论文中,LR 可能正在努力解决可以找到(接近)完美可分离性的方向的问题。另一方面,LDA 可能没有那么严重的过拟合。

  • LDA 的著名假设只需要证明最优性。如果不满足,该过程仍然可以是一个很好的启发式。

  • 在实践中对我来说很重要的区别是因为我有时/经常处理的分类问题实际上根本不是那么清楚的分类问题:LR可以很容易地用参考具有中等级别的类成员资格的数据来完成。毕竟,这是一种回归技术。
    [见上面链接的论文]

  • 您可能会说 LR 比 LDA 更关注类边界附近的示例,并且基本上忽略了分布“背面”的案例。

  • 这也解释了为什么它对异常值(即背面的那些)不如 LDA 敏感。

  • (支持向量机将是一个将这个方向一直推到最后的分类器:这里除了边界的情况之外的所有东西都被忽略了)

我只是想再补充一点。

  • 当所有自变量/预测变量都是连续的(非分类的)并且遵循正态分布时,LDA 起作用
  • 而在逻辑回归中,情况并非如此,分类变量可以在进行预测时用作自变量。