将“内核技巧”应用于线性方法?

机器算法验证 机器学习 内核技巧
2022-02-16 06:50:28

内核技巧用于几种机器学习模型(例如SVM 1964年在《模式识别学习中势函数法的理论基础》一文中首次介绍。

维基百科的定义说它是

一种使用线性分类器算法解决非线性问题的方法,通过将原始非线性观测映射到更高维空间,随后使用线性分类器;这使得新空间中的线性分类等同于原始空间中的非线性分类。

已扩展到非线性问题的线性模型的一个示例是内核 PCA内核技巧可以应用于任何线性模型,还是有某些限制?

3个回答

内核技巧只能应用于问题公式中的示例显示为点积的线性模型(支持向量机、PCA 等)。

B. Schölkopf的另外两篇参考文献

  • Schölkopf, B. 和 Smola, AJ (2002)。学习内核麻省理工学院出版社。
  • Schölkopf, B.、Tsuda, K. 和 Vert, J.-P。(2004 年)。计算生物学中的核方法麻省理工学院出版社。

和一个专门用于内核机器的网站。

@ebony1 给出了关键点 (+1),我是一篇讨论如何核化广义线性模型的论文的合著者,例如逻辑回归和泊松回归,这非常简单。

GC Cawley、GJ Janacek 和 NLC Talbot,广义内核机器,在 IEEE/INNS 国际神经网络联合会议 (IJCNN-2007) 论文集,第 1732-1737 页,美国佛罗里达州奥兰多,2007 年 8 月 12-17 日。 (万维网pdf

我还写了一个(研究质量)MATLAB 工具箱(遗憾的是没有说明),你可以在这里找到。

能够对目标分布进行建模在不确定性量化等方面非常有用,因此它是对内核学习方法的有用(如果相当增量)补充。