为什么在 stats 和 ML 中使用“kernel”这个名字?

机器算法验证 术语
2022-01-18 02:47:44

在操作系统和线性代数的背景下,其他 SE 网站上也有人问过这个问题,但同样的问题让我对统计和机器学习中使用的内核方法感到困惑。

经常有人说内核,例如在内核密度估计或 SVM 中,代表某种相似性,但我不明白“内核”这个名字的来源以及它的象征意义是什么。

那么,在统计和机器学习的背景下,内核的词源是什么?

需要明确的是,我很清楚内核是什么以及它的主要属性,我只是对这个名称感到好奇,因为我看不出它与种子或内核有什么关系,因为它主要定义在字典。或者至少我看不出比“方法的基本部分”更深层次的含义。

2个回答

您可以通过查看数学家 Jeff Miller 维护的一些数学单词的最早已知用途的网站找到有关此问题的一些信息。您还可以在标准字典资源中找到有关“内核”一词的词源的信息。

Fredholm(1903)用法语写作,使用了“noyau”(核心)这个词,Hilbert(1904)采用了这个词,但用德语写作,产生了德语单词“kern”(核心)。这些术语是在写泛函分析中的积分方程的上下文中使用的。此后不久,Bôcher (1909) 用英语写作,使用术语“内核”来指代相同的对象。然后,该术语在有关泛函分析、傅立叶分析以及后来的概率和统计的英语文献中传播开来。

根据上面链接的字典,这个词来源于古英语和原始日耳曼语。它既可以指种子,也可以指对象的核心、中心或本质。德语“kern”和“kernel”之间的语言相似性似乎是由于相似的历史派生。据称,“kernel”一词源自一个假设的(重构的)原始日耳曼语单词“kurną”(玉米)。因此,根据这段历史,在词源上,“kernel”一词似乎指的是种子、核心或本质,并且是基于一个古老的德语单词玉米的英语化。

更新:这个答案已经过大量编辑,以反映用户cbeleitesRM引起我注意的新信息我最初认为这可能是最近对“kern”一词的英语化,但字典资料表明英语中的“kernel”一词非常古老。我不是语言学家,所以我只是从上述来源中列出信息。

内核在机器学习和统计中被多次使用。几个例子是:

  1. 支持向量机中,内核是将数据映射到更高维空间的函数,在该空间中问题变为线性可解(观看视频)。

  2. 核密度估计

    核密度估计是一种估计随机变量概率密度函数的非参数方法。

在这种情况下,内核只是用于内核密度估计的加权函数。最后一个链接在统计学中还有更多使用内核这个词的地方。

  1. 卷积神经网络中,内核是一个小矩阵,用于执行图像与其自身之间的卷积。这里

在所有这些示例中,内核是一个数学函数,用于对数据进行某种转换内核本质上是该转换的恒定部分。根据我们为每个转换使用的内核选择,我们可能会从中获得不同的效果。