SVM - 为什么是二次规划问题?

机器算法验证 机器学习 支持向量机
2022-04-08 21:00:42

在支持向量机中,为什么是二次规划问题而不是线性规划问题来获得最优分离超平面。我只发现,在参考书目中,作者选择了二次方,我的问题是为什么????

3个回答

因为数据类别之间的最优分离超平面

D(x)=wTx+b=c1<c<1,

通过最小化目标函数找到

Q(w)=12||w||2w.r.tyi(wTxi+b)1,

它在不等式约束中是线性的,但由于平方项是二次目标函数。欧几里得范数的平方||w||使优化问题“二次规划”。具有不等式约束的二次目标函数会产生唯一的函数值,但解是不唯一的。

优化理论中也有一个定义:

定义:目标函数、不等式和等式约束为线性的优化问题称为线性规划但是,如果目标函数是二次的,而约束都是线性的,则优化问题称为二次规划

为了找到一个最优的分离超平面,权向量的范数||w¯||应最小化,受约束yi(w¯φ(xi)+b)1ξi,ξi0,i=1,,l(见这里)。

虽然在技术上可以最小化l1-规范||w¯||=in|wi|(即解决线性规划问题)而不是l2范数(二次问题),l1- 方法有许多缺点l2

(a) 解决方案l1-范数最小化问题缺乏稳定性,

(b) 解决方案不是唯一的,

(c) 很难提供计算有效的方法l1-最小化,与l2-最小化。

另一方面,虽然解决方案l1- 最小化问题对异常值比对应的更稳健l2问题,这对于 SVM 并没有特别重要的作用,因为异常值成为支持向量的机会非常小。

这与 L1 规范无关。两者都是欧几里得范数。转换为 QP 是由于实际原因,因此梯度在原点处是连续的。https://math.stackexchange.com/a/439168/532462