机器算法验证 - 如何证明高斯 RBF 核不存在有限维特征空间？ - 吾爱随笔录

如何证明高斯 RBF 核不存在有限维特征空间？

机器算法验证机器学习支持向量机内核技巧

2022-01-18 13:22:55

如何证明对于径向基函数不存在有限维特征空间这样对于一些我们有？ $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$ $H$ $\Phi: \text{R}^n \to H$ $k(x, y) = \langle \Phi(x), \Phi(y)\rangle$

2个回答

Moore-Aronszajn 定理保证对称正定核与唯一的再生核希尔伯特空间相关联。（请注意，虽然 RKHS 是唯一的，但映射本身不是。）

因此，您的问题可以通过展示对应于高斯核（或 RBF）的无限维 RKHS 来回答。您可以在Steinwart 等人的“高斯 RBF 核的再现核希尔伯特空间的显式描述”中找到对此的深入研究。

假设高斯 RBF 内核定义在域上，其中包含无限数量的向量。可以证明（高斯核，为什么它们是满秩的？）对于任何一组不同的向量矩阵不是奇异的, 这意味着向量是线性无关的。因此，内核的特征空间不能具有有限维数。 $k(x, y)$ $X \times X$ $X$ $x_1, ..., x_m \in X$ $(k(x_i, x_j))_{m \times m}$ $\mathrm\Phi(x_1), ..., \mathrm\Phi(x_m)$ $H$ $k$

其它你可能感兴趣的问题

上一篇为什么我们要稳定方差？下一篇R 中的分区树：party 与 rpart