我对 FLD 和 LR 都有一些分类经验。
在大多数数据集上,我得到了非常相似的结果,这就提出了一个问题——FLD 和 LR 在某些方面是否相关?
一个想法,例如,如果我假设似然函数而不是逻辑函数的正态分布,那么最大化是否归结为 FLD 标准?
请注意,我问的是 FLD 而不是 LDA。
另外,我正在寻找一种数学方法来证明 FLD 和 LR 在某些约束下是等价的。我有一些想法,但没有成功。我敢肯定它有某种方式。
我对 FLD 和 LR 都有一些分类经验。
在大多数数据集上,我得到了非常相似的结果,这就提出了一个问题——FLD 和 LR 在某些方面是否相关?
一个想法,例如,如果我假设似然函数而不是逻辑函数的正态分布,那么最大化是否归结为 FLD 标准?
请注意,我问的是 FLD 而不是 LDA。
另外,我正在寻找一种数学方法来证明 FLD 和 LR 在某些约束下是等价的。我有一些想法,但没有成功。我敢肯定它有某种方式。
由于许多原因,分类对于大多数问题来说并不是一个好的目标。预测是。逻辑回归 (LR) 是用于预测的更直接的概率模型,假设较少。线性判别分析 (LDA) 假设 X 在给定 Y 的情况下具有多元正态分布。使用贝叶斯规则得到 Prob(Y|X),您将得到一个逻辑模型。因此,如果 LDA 的假设成立,则 LR 的假设自动成立。反之则不成立,因此 LR 更稳健(例如,X 可以是二分法,远离正常值)。有趣的是,逻辑回归在某种意义上与概率回归的正态分布更相关。
只是(可能是多余的)详细说明弗兰克的回答。LDA 是基于多元正态性假设和两组(总体)协方差矩阵相等的假设;它对异常值和不平衡的n也很烦躁;预测变量通常应该是区间尺度。所有这些都是 LR 不需要的,因此更通用。分类概率在 LDA 中通过贝叶斯等公式间接估计,但在 LR 中直接估计。尽管如此,当 LDA 的所有假设都很好地满足时,从统计角度来看,LDA 在某种程度上优于 LR。