多类 LDA 与 2 类 LDA

机器算法验证 机器学习 分类 模式识别 判别分析
2022-03-18 10:01:35

使用LDA设计多类分类器的问题可以表示为2 类问题(one vs all other)或多类问题。

为什么在某些情况下多类 LDA 分类器优于2 类 LDA(一个与其他所有),反之亦然

1个回答

我认为多类 LDA 分类器总是(嗯,在大多数实际任务中)优于 2 类 LDA。我将尝试描述原因。

看一下示例数据集: 三类样本数据集

你在这里有三个班。假设你想用 LDA 为蓝色类构建一对一分类器。

“蓝色”类的估计均值为零,但“其他”类的估计均值也为零。并且协方差与LDA的定义相同。这意味着 LDA 将响应具有更多元素的标签。而且它永远不会返回类“蓝色”!

对于多类 LDA,它将设法完美地找到正确的类。

关于这一点的背景是,在大多数情况下,高斯的混合不再是高斯了。所以这个LDA的假设失败了。而且我必须说,很难想出一个数据集的例子,其中每个类都是高斯的,而且在我们加入它们之后它们仍然是高斯的。

这就是为什么我强烈建议使用 Multi-class LDA。希望它会有所帮助!