再现核希尔伯特空间的唯一性

机器算法验证 内核技巧 数理统计
2022-04-20 10:09:40

深入研究 Reproduce Kernel Hilbert Spaces (RKHS) 的定义,我遇到了以下示例,取自 [1] 的第 49-51 页:

给定内核,其中,可以证明两者k(x,y)=x,y2x,yR2

ϕ(x)=[x12, x22, x1x2, x1x2],具有特征空间H=R4

ϕ(x)=[x12, x22, 2x1x2],具有特征空间H=R3

是内核的有效特征图。然而,幻灯片指出都不是 RKHS,因为根据定义,RKHS 对于给定内核必须是唯一的。你能解释一下在这种情况下 RKHS 是什么吗?HH

关于该主题的其他参考资料指出,RKHS对于同构[2]是唯一的。在这个定义下,我猜 同构而被认为是 RKHS HkHHHk

[1] http://www.stats.ox.ac.uk/~sejdinov/teaching/atml14/Theory_slides1_2014.pdf

[2] http://users.umiacs.umd.edu/~hal/docs/daume04rkhs.pdf

1个回答

我的问题提到的幻灯片的作者 Dino Sejdinovic 教授非常友好地给我发送了以下答案:

特征空间不是唯一的,实际上它们都是同构的。给定内核的 RKHS 作为函数空间是唯一的,即包含形式为的函数的空间。如果这些函数形成一个有限维 RKHS,则该 RKHS 同构于该维的标准欧几里得空间。对于关于无限维情况唯一性的直觉,您可以考虑 的标准正交基,例如由 Mercer 定理给出 - 然后k(,x)Hk2对应于这个基的系数空间是一个有效的特征空间并且与 RKHS 同构。您可以选择许多不同的基础,因此有许多版本的特征空间。但它们都对应于相同的功能空间,即 RKHS。

此外, Lorenzo Rosasco 教授在堂课的前 20 分钟深入探讨了特征空间、特征图和 RKHS 之间的关系。