证明平方指数协方差是非负定的

机器算法验证 协方差 高斯过程
2022-03-20 01:39:05

考虑形式为

Ki,j=α×exp(0.5(xixj)2/l2)

这是高斯过程中非常常用的函数。如何证明这个协方差是非负定的?

2个回答

我不是专家,但我会草拟一个标准的论点,在拉斯穆森和威廉姆斯的第 4 章第 2.1 节中有更详细的解释(那本书回答了我关于 GP 的大量问题)。所以我们正在使用平方指数函数,对吗?我们有:

Ki,j=αexp((xixj)222)=αexp((|xixj|)222)

因为内核可以写成,它是静止的(各向同性的,偶数)。由于它是静止的,因此我们可以将 Bochner 定理应用于在这种情况下,显示平方指数的正半定性简化为找到合适的函数,我们可以对其进行傅里叶变换使得现在高斯的傅里叶变换是另一个高斯,所以我们正在寻找的函数原来是 |xixj|Ki,jS(s)FsFs(S(s))=Ki,jS(s)

S(s)=α(2π2)D/2exp(2π22s2).
如果你计算这个函数的傅里叶变换,你会得到你的内核,从而显示它是半正定的。如果这太简洁了,我很抱歉,但如果有帮助,我可以尝试获取更多细节。

这里还有另外3个证明: 如何证明径向基函数是核?

请注意,“平方指数”内核也称为“径向基函数”(RBF)内核和“高斯”内核。