GDA 和 LDA 术语

机器算法验证 机器学习 正态分布 多层次分析 术语 判别分析
2022-04-03 18:13:33

术语 LDA(线性判别分析)和 GDA(高斯判别分析)可以互换使用吗?他们经常指的是同一件事吗?

3个回答

根据维基百科:

“Fisher 的线性判别式和 LDA 这两个术语经常可以互换使用,尽管Fisher 的原始文章实际上描述了一个略有不同的判别式,它没有做出 LDA 的一些假设,例如正态分布的类或等类协方差。”

LDA 等价于最大似然分类,假设每个类的高斯分布。我会说“高斯判别分析”实际上可以指任何一种表述,因为它是一个模棱两可的名称。

但是,通常我会将 GDA 与首字母缩略词“General Discriminant Analysis”或“Generalized Discriminant Analysis”联系起来。通用判别分析之所以称为“通用”,是因为它将通用线性模型(另请参见通用线性模型 (GLM))的方法应用于判别函数分析问题。广义判别分析也指非线性方法,但它是使用核函数实现的(参见例如使用核方法的广义判别分析),也称为核判别分析 (KDA) 和核费舍尔判别分析 (KDFA)。

GDA(高斯判别分析)是 LDA(线性判别分析)和 QDA(二次判别分析)的通用术语,其中给定类别的每个观测值的似然概率,即 P(x|y) 可以通过多元变量建模高斯分布。

这里,x 是一个 n 维观察随机向量(n=每个观察中的特征数)。y 是一个标签,即 K 个类别之一(例如,y=1,y=2,...。y=K)。


LDA 是一种情况,其中每个观测值都是从具有特定类别平均向量和“共享”协方差矩阵的多元高斯分布中得出的。

即,P(x|y=1) ~ N(u1, sigma), P(x|y=2) ~ N(u2, sigma), . . . . P(x|y=K) ~ N(uK, sigma)。

其中,N(uK, sigma) 表示具有均值 uK(nx1 向量)和协方差 sigma(nxn 矩阵)的高斯分布。


QDA 是一种特殊情况,其中每个观测值均来自具有特定于类的平均向量和“特定于类”的协方差矩阵的多元高斯分布。

即,P(x|y=1) ~ N(u1, sigma1), P(x|y=2) ~ N(u2, sigma2), 。. . . P(x|y=K) ~ N(uK, sigmaK)。

QDA 比 LDA 更灵活(即弯曲)。但是,它可能会遇到过拟合问题(即高方差)。

在分类理论中,当类条件密度为具有相同协方差矩阵的高斯时,判别函数的线性形式是最优的。所以从这个意义上说,我可以将高斯潜入术语理解为 LDA 的术语。然而,当类条件密度为高斯且协方差不同时,QDA 二次判别是最佳的。所以这也可以称为高斯。所以 tdc 说的不太对,因为他省略了等协方差矩阵条件。