当学习算法(例如分类、回归、聚类或降维)仅使用数据点之间的点积时,我们可以通过内核技巧隐式使用更高维映射 ,通过内核交换每个点积发生的实例。
例如,在线性模型中,SVM 可以解释为数据点添加一个常数列的截距。如果我们使用线性核,保持该列不变对我来说很有意义:您可以从核积系数 到和解决方案应该是相同的,使用或不使用内核。
但是如果内核不是线性的,如果映射在无限维中,所以列系数不可能用来表示,包含一个拦截词?
当学习算法(例如分类、回归、聚类或降维)仅使用数据点之间的点积时,我们可以通过内核技巧隐式使用更高维映射 ,通过内核交换每个点积发生的实例。
例如,在线性模型中,SVM 可以解释为数据点添加一个常数列的截距。如果我们使用线性核,保持该列不变对我来说很有意义:您可以从核积系数 到和解决方案应该是相同的,使用或不使用内核。
但是如果内核不是线性的,如果映射在无限维中,所以列系数不可能用来表示,包含一个拦截词?
部分答案:
专注于支持向量机一段时间,我得到了这个参考(@DikranMarsupial在支持向量机的偏差术语中指出):
Poggio, T.、Mukherjee, S.、Rifkin, R. 和 Rakhlin, A. (2001)。维里,A. b . 在几何计算不确定性会议论文集中。
摘抄:
本文致力于回答以下问题:何时应使用b?是否可以选择使用或不使用b?选择意味着什么?RN(正则化网络)和 SVM 的答案是否不同?[...]
在他们的结论中,他们提到使用偏差项与不授予 SVM 中分类阈值的某些值有关。还:
对于无限条件正定内核,实际上需要b项,以允许对优化器进行自然解释。
对于正定核,自然的选择是没有b项,但是可以使用一个,实际上导致另一种核解释与没有它的核解释不同。
看到编写的最小化器包括要优化的显式参数b 。