直觉为什么 LDA 是朴素贝叶斯的特例

机器算法验证 直觉 朴素贝叶斯 判别分析
2022-04-02 13:23:00

朴素贝叶斯分类器假设回归量是相互独立的,而线性判别分析 (LDA) 允许它们相互关联。詹姆斯等人。“统计学习简介”(2021 年第 2 版)第 4.5 节(第 159 页底部)声称 LDA 实际上是朴素贝叶斯分类器的一个特例(承认事实一点也不明显——我同意,因此我的问题)。直觉是什么?

2个回答

这是我的直觉:

LDA 分类器假设在所有类中,个预测变量(对于k=1,\dots,p)都共享一些协方差矩阵{\boldsymbol \Sigma},但可能有不同的均值\boldsymbol{\亩}_k因此,如果您将预测变量的备用集合\boldsymbol{Z}定义为p独立正态随机变量,方差为 1 并且意味着\boldsymbol{\Sigma}^{-1/2} \boldsymbol{\mu},那么\boldsymbol {X} = \boldsymbol{\Sigma}^{1/2} \boldsymbol{Z}这是一个线性变换,所以\boldsymbol{Z}变量上的线性分类器在pXkk=1,,pΣμkZpΣ1/2μX=Σ1/2ZZX变量。

请注意,朴素贝叶斯分类器在其预测器上是线性的(这在您的参考资料的第 159 页上显示),并且它显然适用于Z预测器,因为它们在定义上是独立的。所以 LDA 和一些朴素贝叶斯分类器是一样的。但正如您在参考资料中提到的(也是第 159 页),任何线性分类器都是如此。

LDA 是 n̶a̶i̶v̶e̶ 贝叶斯分类器的一个特例。

  • 它假设高斯分布
  • 对于不同的类别,分布具有相同的方差(它们的分布相对于变量具有相同的协方差矩阵)。X

高斯朴素贝叶斯分类器是 LDA 的一个特例

如果您考虑具有高斯分布假设的朴素贝叶斯分类器,并且不同组/类的方差相同,那么您可以将其视为 LDA 的一个特例。它类似于 LDA,但协方差矩阵是对角线。Σ

其他观点

您可能还会将 LDA 视为预处理步骤,从而为您提供一个或多个组件。然后在组件上应用朴素贝叶斯。因此,LDA 可以看作是朴素贝叶斯的一个特例,因为它是朴素贝叶斯,具有提取第一个 LDA 分量的预处理。