数据挖掘 - LDA、线性支持向量机和感知器之间有关系吗？ - 吾爱随笔录

LDA、线性支持向量机和感知器之间有关系吗？

数据挖掘分类支持向量机 lda-分类器感知器

2022-01-30 09:45:31

LDA（线性判别分析）、具有线性核的 SVM 和感知器是线性分类器。它们之间是否有任何其他关系，例如：

LDA能找到的每一个决策边界都可以被线性SVM找到
LDA可以找到线性SVM可以找到的每个决策边界。
LDA 可以找到的每个决策边界都可以由感知器找到
线性 SVM 可以找到的每个决策边界都可以由感知器找到。
感知器可以找到的每个决策边界都可以由 LDA 找到
感知器可以找到的每个决策边界都可以由具有线性核的 SVM 找到

当然，始终使用相同的数据。

例如，由于松弛变量，我认为线性 SVM 可以找到比感知器更多的决策边界。虽然感知器只找到一个线性分离数据的任意超平面（如果存在这样的超平面），但由于最优性标准，线性 SVM 将始终找到相同的超平面。

2个回答

简短的回答是：

1, 2. 不，它们取决于不同的示例子集。

3, 4. 是的，但前提是它线性地分隔类并且你非常幸运。否则没有。

5, 6. 不，因为 SVM 和 LDA 只能找到一种解决方案，但感知器可以找到很多解决方案。

现在让我解释一下。

经典 SVM 和 LDA 的决策边界是基于整个训练样本一次离线计算的。因此，无论学习示例的顺序如何，SVM 和 LDA 确实总是会准确找到一个超平面。

但是 LDA 和 SVM 的这些超平面通常不能保证是不同的。顾名思义，SVM 解决方案仅基于支持观察，这通常构成学习样本的一小部分。然而，LDA 解决方案对所有学习示例都很敏感，因为它明确基于它们的类别平均值。因此，您可以稍微移动一个不支持点，SVM 解决方案不会改变，但 LDA 会。这意味着你不能期望 SVM 和 LDA 会找到相同的边界。

相比之下，感知器是在线更新的，因此其决策边界取决于学习示例的顺序。此外，它的解决方案取决于系数的初始化。即，如果 $w_n$ 是看到后的系数向量 $n$ 学习例子，然后：

w_{n} = w_{0} + λ \sum_{一世 = 1}^{n} e_{一世} X_{一世}

$w_n = w_0 + \lambda \sum_{i=1}^{n} e_i x_i$ 在哪里

e_{i}

$e_i$ 等于 1 如果

i

$i$ '第一个例子是假阴性，-1 为假阳性，否则为 0，并且

λ

$\lambda$ 是学习率。通过改变

w_{0}

$w_0$ 和喂食顺序

x_{i}

$x_i$ 进入感知器，可以实现很多不同的超平面。

例如，如果（运气好！）你设置 $w_0$ 等于 SVM 或 LDA 的解决方案，并且此解决方案线性分离您的类，那么感知器将永远不会更改此解决方案，因此它将等于 SVM 或 LDA 的解决方案。

但是，如果 SVM 或 LDA 的解决方案没有完全分离类（对于 LDA，即使类是可分离的也可能是这种情况），那么感知器将用下一个错误分类的例子改变它，因此它的解决方案将偏离支持向量机或 LDA。

线性 SVM 可以找到的每个决策边界都可以由感知器找到。

关于 4：如果您的类是线性可分的：

通常有无限多的决策边界可以实现完美分类。感知器保证能找到其中之一，但几乎不可能预测哪一个。（这将取决于初始权重和学习率）。

SVM（没有松弛变量）也保证找到一个完美的决策边界；但不是任意的。它找到与最近观测值具有最大距离的边界之一。

您可以考虑 SVM（没有松弛变量）在感知器可以找到的那些中选择“最佳”决策边界。

其它你可能感兴趣的问题

上一篇XGBoost 变化损失函数下一篇了解教程《Using Keras and Deep Deterministic Policy Gradient to play TORCS》教程的训练阶段