如果我理解正确，线性判别分析 (LDA) 假设每个类别的最优性标准是正态分布数据、独立特征和相同协方差。
既然均值和方差是从训练数据中估计出来的，那不是已经违规了吗？
我在一篇文章中找到了一段引文（Li、Tao、Shenghuo Zhu 和 Mitsunori Ogihara。“ Using Discriminant Analysis for Multi-Class Classification: An Experimental Investigation .” Knowledge and Information Systems 10, no. 4 (2006): 453–72 . )
“线性判别分析经常在人脸和物体识别的任务中取得良好的表现，即使组间的共同协方差矩阵和正态性的假设经常被违反（Duda, et al., 2001）”
- 不幸的是，我在 Duda et 中找不到相应的部分。人。“模式分类”。
关于在降维上下文中使用 LDA（相对于正则化 LDA 或 QDA）处理非正态数据的任何经验或想法？
这是 Hastie 等人的内容。必须在 The Elements of Statistical Learning，第 4.3 节中谈到它（在二类 LDA 的背景下）：
由于这种通过最小二乘法推导 LDA 方向的方法不对特征使用高斯假设，因此其适用性超出了高斯数据的范围。然而，（4.11）中给出的特定截距或切点的推导确实需要高斯数据。因此，改为选择根据经验最小化给定数据集的训练误差的切点是有意义的。这是我们发现在实践中运作良好的东西，但在文献中没有提到它。
我不完全理解他们所指的通过最小二乘法推导，但总的来说[更新：我将在某个时候简要总结一下]我认为这一段是有道理的：即使数据非常非高斯或类协方差非常不同，LDA 轴可能仍会产生一些可区分性。但是，LDA 给出的这个轴上的切点（分离两个类）可以完全关闭。单独优化它可以大大改善分类。
请注意，这仅指分类性能。如果您所追求的只是降维，那么 LDA 轴就是您所需要的。所以我的猜测是，即使违反了假设，LDA 通常也会做一个体面的工作。
关于 rLDA 和 QDA：如果没有足够的数据点来可靠地估计类内协方差（在这种情况下至关重要），则必须使用 rLDA。而且 QDA 是一种非线性方法，所以我不确定如何使用它进行降维。