LS-SVM 和 P-SVM 有什么区别?

数据挖掘 支持向量机 最小二乘支持向量机
2022-02-08 12:24:20

最小二乘 SVM(LS-SVM)和近端 SVM(P-SVM)有什么区别?在这两种类型的 SVM 的情况下,决策边界如何变化?

2个回答

查找此研究论文以获取更多信息:最小二乘支持向量机的大维分析

最小二乘支持向量机 (LS-SVM)是一种成功的分类或回归问题方法,其中训练样本的边际误差和平方和误差 (SSE) 同时最小化。然而,LS-SVM 只考虑输入变量的 SSE。

最小二乘 SVM

在此处输入图像描述

将数据点线性分离为两类

实现和方程

近端支持向量机和相关方法 (Fung & Mangasarian, 2001; Suykens & Vandewalle, 1999) 可以解释为应用于分类问题的岭回归 (Evgeniou, Pontil, & Poggio, 2000)。广泛的计算结果表明,PSVM 对两类分类问题的有效性,其中分离平面的构建时间可以比传统的支持向量机短两个数量级。

当 PSVM 应用于具有两个以上类别的问题时,众所周知的 one-from-the-rest 方法是一种自然的选择,以利用其快速性能。但是,这种“one-from-the-rest”方法存在一个缺点。由此产生的两类问题通常非常不平衡,在某些情况下会导致性能不佳。更多的

与两种广泛使用的回归支持向量机变体,即最小二乘支持向量机 (LS-SVM) 和近端支持向量机 (P-SVM) 相比,ELM 受到更少和更温和的优化约束。更多信息

模糊最小二乘双支持向量机

近端支持向量机分类器

最小二乘支持向量机由 Suykens 和 Vandewalle 于 1999 年首次引入。它们略早于Fung 和 Mangasarian 在 2001 年提出的近端SVM。看来后者并不了解 LS-SVM,并在非常相似的方式。

这两种方法在这方面非常接近,它们不是求解二次规划(具有线性约束的二次问题优化),而是求解线性系统。这样做的诀窍是将优化约束从不等式转换为等式。两种方法都使用相同的技巧。

不过似乎有细微的差别他们关于 P-SVM 的论文的结论中,Fung 和 Mangasarian 指出:

[33] 中也使用最小二乘法来构造 SVM,但明确要求 Mercer 的正定性条件 [35],此处不需要。此外,[33] 的二次规划的目标函数不像我们的那样是强凸的。PSVM 的这一重要特征会影响其速度,这可以从此处给出的许多数值比较中得到证明,但在 [33] 中没有。

其中 [33] 是 Suykens 和 Vandewalle 的原始 LS-SVM 论文。

截至今天,快速的互联网搜索表明 LS-SVM 更为常见。然而,是因为先行性/最初流行,因为它们表现更好,和/或因为它们的实施更容易,但是,我不知道。