似乎有很多机器学习算法依赖于核函数。SVM 和 NN 仅举两例。那么核函数的定义是什么,它的有效要求是什么?
什么是内核以及它与其他功能的区别
机器算法验证
支持向量机
术语
内核技巧
2022-02-01 11:28:35
3个回答
对于 S 上的 x,y,某些函数 K(x,y) 可以表示为内积(通常在不同的空间中)。K 通常被称为核或核函数。内核这个词在整个数学中以不同的方式使用,但这是机器学习中最常见的用法。
核技巧是一种将观察从一般集合 S 映射到内积空间 V(配备其自然范数)的方法,无需显式计算映射,希望观察将在 V 中获得有意义的线性结构. 这对于效率(在非常高的维度空间中非常快速地计算点积)和实用性(我们可以将线性 ML 算法转换为非线性 ML 算法)而言很重要。
要使函数 K 被视为有效内核,它必须满足 Mercer 条件。这实际上意味着我们需要确保内核矩阵(计算您拥有的每个数据点的内核乘积)始终是半正定的。这将确保训练目标函数是凸的,这是一个非常重要的属性。
来自Williams、Christopher KI 和 Carl Edward Rasmussen。“机器学习的高斯过程。 ”麻省理工学院出版社 2,第 2 期。3(2006 年)。第 80 页。
内核 = 映射一对输入的两个参数的函数,进入.
此外,内核 = 内核函数。
机器学习算法中使用的内核通常满足更多属性,例如半正定。
打算尝试一个不太技术性的解释。
首先,从两个向量之间的点积开始。这告诉您向量有多“相似”。如果向量代表数据集中的点,点积会告诉您它们是否相似。
但是,在某些(许多)情况下,点积并不是相似度的最佳度量。例如:
- 由于其他一些原因,可能具有低点积的点是相似的。
- 您可能有不能很好地表示为点的数据项。
因此,您不使用点积,而是使用“内核”,它只是一个函数,它需要两个点并为您提供它们相似性的度量。我不能 100% 确定函数必须满足哪些技术条件才能在技术上成为内核,但这就是想法。
一件非常好的事情是内核可以帮助您将您的领域知识投入到问题中,因为您可以说两点是相同的,因为 xyz 原因来自您对领域的了解。
其它你可能感兴趣的问题