我了解到,由于指数函数径向基核的无限级数扩展,将输入特征空间投影到无限特征空间。是不是因为这个事实,我们经常在 SVM 中使用这个内核。?在无限维空间中投影是否总是使数据线性可分。?
为什么在 SVM 中使用 RBF 内核?
RUser4512 给出了正确答案:RBF 内核在实践中运行良好,并且相对容易调整。它是 SVM 等价于“没有人因估计 OLS 回归而被解雇:”它被接受为一种合理的默认方法。显然,OLS 并非在所有(甚至许多)场景中都完美无缺,但它是一种经过充分研究且广为人知的方法。同样,RBF 内核也得到了充分研究和广泛理解,许多 SVM 包将其作为默认方法包含在内。
但是 RBF 内核还有许多其他属性。在这些类型的问题中,当有人问“我们为什么要这样做”时,我认为与其他方法进行对比来开发上下文也很重要。
它是一个固定内核,这意味着它对平移是不变的。假设你正在计算固定内核将产生相同的值为了, 在哪里可以是维度的向量值以匹配输入。对于 RBF,这是通过处理两个向量的差异来完成的。相比之下,请注意线性核不具有平稳性。
RBF 内核的单参数版本具有各向同性的特性,即缩放比例为在所有方向上发生的数量相同。不过,这可以通过稍微调整 RBF 内核来轻松概括为在哪里是一个psd矩阵。
RBF 核的另一个特性是它是无限平滑的。这在美学上令人愉悦,并且在视觉上有些令人满意,但也许它不是最重要的属性。将 RBF 内核与 Matern 内核进行比较,您会发现有些内核的锯齿状程度更高!
这个故事的寓意是基于内核的方法非常丰富,只需稍加工作,开发适合您特定需求的内核就非常实用。但是,如果使用 RBF 内核作为默认值,您将有一个合理的基准进行比较。
我认为使用 RBF 内核的充分理由是它们在实践中运行良好,并且与其他内核相比,它们相对容易校准。
多项式内核具有三个参数(偏移量、缩放比例、度数)。RBF 内核只有一个参数,并且有很好的启发式方法可以找到它。请参阅每个示例:SVM rbf kernel - heuristic method for estimating gamma
特征空间中的线性可分性可能不是原因。事实上,使用高斯核很容易在训练集上强制分离和完美的准确性(设置到一个很大的值)。但是,这些模型的泛化性很差。
编辑。
这个短视频展示了带宽参数的增加对决策边界的影响。