与 t-SNE / UMAP 相比,使用线性判别分析 (LDA) 的图像聚类

信息处理 图像处理 matlab 机器学习 无监督学习 降维
2022-01-04 08:33:34

这是无监督图像聚类讨论的延续

我们拥有 MNIST 数据库的图像,我们想像这样分离所有图像。但我们想使用线性判别分析(LDA) 来查看结果有何不同。

如果我们知道数据的类别,LDA 会比 t-SNE/UMAP 表现更好吗?假设绘图的 X 轴和 Y 轴是协方差的。

在此处输入图像描述

1个回答

线性判别分析(LDA)(也是Fisher's Linear Discriminant,LDA是其推广)是一种通过线性投影矩阵乘法找到投影平面来分离数据的方法)。
它的主要限制是使用线性投影。
另一方面,它可以以有监督的方式使用。即它可以使用标签来找到最佳投影。

我在 MATLAB 中实现了 LDA,并与上一个问题中的 t-SNE 进行了比较

LDA 监督降维:

在此处输入图像描述

t-SNE 的无监督降维:

在此处输入图像描述

可以看出,尽管 LDA 受到监督,但它无法与 t-SNE 结果竞争。尽管 LDA 在其他情况下可能非常有用(通常维度较少)。
例如,为了验证我的 LDA 实现,我使用了UCI 机器学习存储库 Wine 数据集我得到以下结果:

在此处输入图像描述

该代码可在我的StackExchange Codes Signal Processing Q80949 GitHub 存储库中找到(查看SignalProcessing\Q80949文件夹)。

资源

我找到了一些关于监督降维的资源: