使 SVM 中的“内核技巧”起作用的深层(呃)数学是什么?

机器算法验证 支持向量机 内核技巧
2022-04-06 17:42:15

内核技巧在 SVM 中被大量使用。令人印象深刻的是:你不仅可以在更大维空间(包括无限维空间)中得到来自变换的内积ϕ通过仅在低维空间中进行计算,但您甚至可以在不知道实际映射的情况下进行计算。

很容易看出您在低维空间中拥有所有“成分”。例如,如果您有投票者[x,y], 和ϕ是映射ϕ[x,y][x,y,xy],你在变换空间中计算的任何东西(如内积)仍然只是xy.

但似乎必须有一些更深层次的数学结构或形式主义来保证更大空间中的内积在更小的空间中是可计算的。

在实际示例中,通常会假设内核函数(这是我们正在寻找的)开始。所以,有人说K(x,y)=ϕ(x)ϕ(y))=(xy)2. 如果原始空间是二维的,那么K(x,y)=(x1y1+x2y2)2=x12y12+2x1x2y1y2+x22y22.

这对应于一个ϕϕ(x)=[x12,x22,2x1x2]ϕ(y)=[y12,y22,2y1y2],其内积确实与来自规定的核函数相同,K().

这是我遗漏的明显明显的东西,还是有更深刻的东西总能保证映射,ϕ,会一直存在吗?感觉向量空间、内积和多项式之间存在某种关系。

打个比方,这几乎就像我们想通过添加向量的分量来计算向量的“轨迹”。显然是从 2 维到 4 的映射[x,y][x,y,xy,yx]不会改变轨迹,因为两者的元素都添加到x+y, 4 空间中的最后两项相互抵消。但那是制造出来的。内核似乎依赖于某种对称性或约束,从而使它们始终有效。

0个回答
没有发现任何回复~