SVM 中的“内核”和卷积神经网络中的“内核”之间是否存在概念上的关系?

数据挖掘 美国有线电视新闻网 支持向量机 核心
2021-10-05 21:06:43

在 SVM 中,我们有将输入原始数据空间映射到更高维特征空间的核函数

在 CNN 中,我们还有一个“内核”掩码,它通过输入原始数据空间(图像作为矩阵)并将其映射到另一个空间。

鉴于这两种方法都称为“内核”,我想知道从数学角度来看它们之间的联系是什么。

我的猜测是它可能与功能分析有关。

1个回答

这两个概念之间没有直接关系。但是我们可以找到一些间接的。

根据韦氏词典

内核意味着中心或重要部分

这暗示了为什么它们被称为“内核”。具体来说,决定“如何测量点-点相似度(又名核函数)”是核方法的核心部分,而决定“哪些数组、矩阵或张量(又名核矩阵)与数据点进行卷积”是卷积神经网络的核心部分。

核函数接收两个数据点,将它们隐式映射到更高的(可能是无限的)维度,然后计算它们的内积。

核矩阵(或数组,或张量)与一个数据点卷积,以将数据点显式映射到通常较低的维度。在这里,我们忽略了过滤器和内核之间的细微差别(过滤器由每个通道一个内核组成)。

因此,这两个概念基于映射到新的表示而间接相关。然而,

  • 内核函数隐式映射,但内核矩阵显式映射,
  • 内核函数不能相互堆叠(浅层表示),但内核矩阵可以是因为输入和输出(显式表示)具有相同的结构(深层表示),
  • map的非线性被集成到核函数中,但是对于核矩阵,我们应该在(输入,核)卷积之后应用一个非线性激活函数来达到类似的非线性,
  • 无法为核函数学习隐式表示,一个特定的函数意味着一个特定的表示。然而,对于核矩阵,表示可以通过调整(学习)核的权重来学习,也可以通过将核相互堆叠来丰富。