使用LDA设计多类分类器的问题可以表示为2 类问题(one vs all other)或多类问题。
为什么在某些情况下多类 LDA 分类器优于2 类 LDA(一个与其他所有),反之亦然。
使用LDA设计多类分类器的问题可以表示为2 类问题(one vs all other)或多类问题。
为什么在某些情况下多类 LDA 分类器优于2 类 LDA(一个与其他所有),反之亦然。
我认为多类 LDA 分类器总是(嗯,在大多数实际任务中)优于 2 类 LDA。我将尝试描述原因。
看一下示例数据集:
你在这里有三个班。假设你想用 LDA 为蓝色类构建一对一分类器。
“蓝色”类的估计均值为零,但“其他”类的估计均值也为零。并且协方差与LDA的定义相同。这意味着 LDA 将响应具有更多元素的标签。而且它永远不会返回类“蓝色”!
对于多类 LDA,它将设法完美地找到正确的类。
关于这一点的背景是,在大多数情况下,高斯的混合不再是高斯了。所以这个LDA的假设失败了。而且我必须说,很难想出一个数据集的例子,其中每个类都是高斯的,而且在我们加入它们之后它们仍然是高斯的。
这就是为什么我强烈建议使用 Multi-class LDA。希望它会有所帮助!