核函数基本上只是一个映射吗?

机器算法验证 机器学习 支持向量机 内核技巧
2022-03-22 23:18:04

我目前正在研究机器学习(更具体地说是支持向量机),我想知道我应该如何理解内核函数是什么。我读过这个社区的其他问题,例如:

  1. 如何直观地解释内核是什么?
  2. 了解 SVM 的核函数
  3. 什么函数可以是内核?

但是,我仍然无法理解这个概念,并希望有人能够帮助我。

我最初的理解是内核本质上只是到更高维度的映射。例如,当我们想使用线性分类器做出更好的预测时,我们会使用内核将决策边界映射到更高的维度并做出更好的预测。

我的理解至少在正确的轨道上吗?

任何反馈表示赞赏。谢谢你。

2个回答

我最初的理解是内核本质上只是到更高维度的映射。

不,内核是一个计算此映射图像中的点积的函数。

它可以被认为是定义点积,使用来自另一个空间的点积,其中到这个(通常是高维)空间的映射是隐式的。

我的回答可能是在解释您已经在其他线程中收集到的内容,但这是我的看法。

从技术上讲,内核技巧确实可以看作是到线性方法起作用的更高维度(可能是无限的)的映射。但它远不止于此,因为您通过目标空间中内积的定义使用了隐式定义的转换。

k(xi,xj)=ϕ(xi),ϕ(xj)

其中是变换,是您的核函数。ϕk

核函数本身可以被视为向量之间相似性的度量,或者(在我的解释中)作为局部行为形状的代表。在此页面上查看内核如何确定一维高斯过程回归量估计器形状的比较,我发现它在理解内核选择意味着什么的过程中非常有用。