“协方差函数”和“核函数”是同义词吗?

机器算法验证 支持向量机 术语 内核技巧 高斯过程
2022-04-21 04:00:36

“协方差函数”和“核函数”是同义词吗?在高斯过程 (GP) 文献中,作者通常讨论协方差函数,而在支持向量机 (SVM) 文献中,作者通常讨论核函数。看起来两者都引用相同的基础对象,因为生成的协方差矩阵是 Mercer 核:两者都是对称的半正定矩阵。术语上的差异纯粹是由于各自工具的历史发展,还是我遗漏了一些微妙的含义?

2个回答

是的,“协方差函数”和“正定核”指的是同一个概念。(SVM 文献中的作者有时会省略限定“正定”,因为它通常是迄今为止最相关的内核类型。)

例如,请参阅Rasmussen 和 Williams,机器学习的高斯过程,2006 年的第 80 页。

丹妮卡的回答是正确的。准确地说,协方差矩阵和 Mercer 核都是 (1) 正定矩阵和 (2) 对称矩阵。然而,除了 Mercer 核之外,还有一些对矩阵的研究,即不是正定矩阵,但可能对机器学习有用。这些有时被称为内核,就像在本文中一样,但至少在这种情况下,作者小心地强调,当他们谈到内核时,他们心中有一个不一定满足 Mercer 条件的定义。

Cheng Soon, Xavier Mary, Alexander J. Smola。“用非正内核学习。” 出现在第 21 届国际机器学习会议论文集上,班夫,加拿大,2004 年。