朴素贝叶斯分类器假设回归量是相互独立的,而线性判别分析 (LDA) 允许它们相互关联。詹姆斯等人。“统计学习简介”(2021 年第 2 版)第 4.5 节(第 159 页底部)声称 LDA 实际上是朴素贝叶斯分类器的一个特例(承认事实一点也不明显——我同意,因此我的问题)。直觉是什么?
直觉为什么 LDA 是朴素贝叶斯的特例
机器算法验证
直觉
朴素贝叶斯
判别分析
2022-04-02 13:23:00
2个回答
这是我的直觉:
LDA 分类器假设在所有类中,个预测变量(对于k=1,\dots,p)都共享一些协方差矩阵{\boldsymbol \Sigma},但可能有不同的均值\boldsymbol{\亩}_k。因此,如果您将预测变量的备用集合\boldsymbol{Z}定义为p独立正态随机变量,方差为 1 并且意味着\boldsymbol{\Sigma}^{-1/2} \boldsymbol{\mu},那么\boldsymbol {X} = \boldsymbol{\Sigma}^{1/2} \boldsymbol{Z}。这是一个线性变换,所以\boldsymbol{Z}变量上的线性分类器在变量。
请注意,朴素贝叶斯分类器在其预测器上是线性的(这在您的参考资料的第 159 页上显示),并且它显然适用于预测器,因为它们在定义上是独立的。所以 LDA 和一些朴素贝叶斯分类器是一样的。但正如您在参考资料中提到的(也是第 159 页),任何线性分类器都是如此。
LDA 是 n̶a̶i̶v̶e̶ 贝叶斯分类器的一个特例。
- 它假设高斯分布
- 对于不同的类别,分布具有相同的方差(它们的分布相对于变量具有相同的协方差矩阵)。
高斯朴素贝叶斯分类器是 LDA 的一个特例
如果您考虑具有高斯分布假设的朴素贝叶斯分类器,并且不同组/类的方差相同,那么您可以将其视为 LDA 的一个特例。它类似于 LDA,但协方差矩阵是对角线。
其他观点
您可能还会将 LDA 视为预处理步骤,从而为您提供一个或多个组件。然后在组件上应用朴素贝叶斯。因此,LDA 可以看作是朴素贝叶斯的一个特例,因为它是朴素贝叶斯,具有提取第一个 LDA 分量的预处理。
其它你可能感兴趣的问题