机器算法验证 - 为什么如此称呼高斯“判别”分析模型？ - 吾爱随笔录

为什么如此称呼高斯“判别”分析模型？

机器算法验证正态分布判别分析生成模型

2022-03-21 02:42:57

高斯判别分析模型学习，然后应用贝叶斯规则来评估因此，它们是生成模型。那为什么叫判别分析呢？如果是因为我们最终得出了类之间的判别曲线，那么所有生成模型都会发生这种情况。 $P(x|y)$

P (y | x) = \frac{P (x | y) P_{p r i o r} (y)}{Σ_{g \in Y} P (x | g) P_{p r i o r} (g)} .

$P(y|x) = \frac{P(x|y)P_{prior}(y)}{\Sigma_{g \in Y} P(x|g) P_{prior}(g) }.$

2个回答

如果你是说LDA，我会说线性判别分析这个名字，至少可以追溯到Fisher 1936 年的论文，据我所知，它在机器学习中的当前术语和区分之前一个生成模型。并不是费舍尔直接将其称为线性判别分析，而是他明确要求使用线性函数进行判别。作为一个奇怪的旁白，Fisher 在论文中考虑了对著名的 Iris 数据集的歧视。

顺便说一句，Fisher 并没有根据生成模型提出线性判别方法。他寻求一种线性组合（对于两个类别），使组间方差与组内方差之比最大化，这不需要正态性假设。详细信息以及它如何与作为生成模型的贝叶斯规则的 LDA 相关，可以在 Brian Ripley 的书“模式识别和神经网络”的第 3 章中找到。

很简单，如果你有两个类，GDA 会利用这个假设： $(Y=0 , Y=1)$

$P(X|Y=0) \sim \mathcal{N}(\mu_0,\Sigma_0)$
$P(X|Y=1) \sim \mathcal{N}(\mu_1,\Sigma_1)$
$P(Y=1)=1-P(Y=0)=\Phi$

然后使用最大似然估计得到参数 $(\mu_0,\Sigma_0,\mu_1,\Sigma_1,\Phi)$

所以它是高斯的，因为它对组内分布使用高斯假设（您可能希望使用均匀而不是前）和判别性，因为它旨在将数据分成组。

你可以在这里找到更多信息。

其它你可能感兴趣的问题

上一篇为什么要研究线性回归？下一篇关于在 R 中使用 ggplot2 的两个因素的箱线图