二次核是什么样子的?

机器算法验证 机器学习 支持向量机 优化 几何学
2022-03-30 14:02:31

基于可视化的决策边界,我们必须确定生成它的分类器类型。下图显示了一个示例 - 这是来自二次核支持向量机 (SVM),即我知道二次函数在二维中的样子,但想了解如何确定什么样的函数导致了三维边界 - 这基本上是一个“切入”,例如三维抛物线,它导致到这个椭球边界?K(x,y)=(xTy+c)2

在此处输入图像描述

2个回答

有(至少)两种方式来思考这个问题。

一个是你提到的:想象点被提升成二次函数的形状,然后被平面切割,产生一个椭圆。这有点像这张照片(从这篇论文中偷来的): 内核映射特征图

另一种思考方式是:SVM 的决策边界将始终采用的形式。对于内核,我们有: 这本身就是一个二次函数。因此,决策边界始终是输入空间上某个二次函数的水平集。{yiαik(xi,y)=b}k(x,y)=(xTy+c)2

iαi(xiTy+c)2=i[αi(xiTy)2+2αixiTy+αic2]=iαiyTxixiTy+(i2αixi)Ty+c2iαi=yT(iαixixiT)y+(i2αixi)Ty+c2iαi=yTQy+rTy+s,

假设我们有两个特征,我们将其扩展为五个特征(x1,x2)(x12,x22,x1,x2,x1x2)

决策边界为

β0+β1x12+β2x22+β3x1+β4x2+β5x1x2=0

与平面的交点是椭球边界,看起来像这样

在此处输入图像描述