线性SVM与其他线性分类器的区别?

机器算法验证 支持向量机 线性模型
2022-03-16 18:27:26

教科书中的线性支持向量机采取最大化的形式

LD=iai12i,jaiajyiyjxiTxj

超过ai在哪里ai0iaiyi=0

自从w=iaiyixi,分类器将采用以下形式Sgn(wxb).

因此,它似乎解决了线性 SVM,我需要弄清楚ai使用一些基于梯度的方法。但是,最近,我遇到了一篇论文,其中指出他们试图最小化以下形式:

LP=12||w||2+Cimax(0,1yifw(xi))

他们声称C是一个常数。在我看来,这种形式与原始形式完全不同LP在线性 SVM 中,因为缺少ai. 就论文而言,在我看来,他们优化了w直接地。我在这里很困惑,好像我错过了什么。可以优化吗w直接在线性SVM上?为什么会这样?

1个回答

这里有两件事。

  1. 原始问题和对偶问题之间的区别。SVM 的“原始”目标函数是最小化1/2||w||2. 这被称为“原始形式”。原来你写的目标函数(涉及LD) 是这个问题的对偶形式。因此,两者导致等效的解决方案,并且可以互换使用。

  2. 您描述的第二个公式称为“软边距 SVM”。它是通过采用上面(1)的原始形式并替换约束来获得的yifw(xi)1按刑期Cmax(0,1yifw(xi)). 效果是您允许违反约束。这很有用,例如,如果您的数据不是线性可分的。您可以获得这个的双重公式(类似于您的表达LD) 也是如此。