高斯过程(square dist kernel)究竟是如何强制平滑的?(又是如何计算他们这样做的?)

数据挖掘 高斯过程
2022-02-22 19:00:24

来自: http ://www.cs.cmu.edu/~16831-f12/notes/F10/16831_lecture22_jlisee/16831_lecture22.jlisee.pdf

“高斯过程人为地在该向量中引入紧密样本之间的相关性,以便对连续样本强制执行某种平滑度。”

但是这是如何计算的呢?函数 f(x) ~ GP(mu,k(x,x')) 是增量执行的吗?例如,第 n 个计算值 f(xn) 使用值 f(x-1)...f(xn) 来计算其均值和方差?

2个回答

根据定义,当您拟合高斯过程时,您指定平均函数 m(x) 和协方差函数(或内核)k(x,x')。通常均值函数为 0,协方差是径向基函数或平方指数核,它是平滑的(实际上是无限可微的)。

但是这是如何计算的呢?

所指的向量是样本的向量V=(X1,X2,...,Xn). 在以下公式中计算每个样本的概率Xi

p(Xi)=1ze(Xμ)Σ1(Xμ)
是协方差矩阵其中直径值是每个样本点与其自身的方差,其他元素是每个样本与其他样本的协方差。例如,元素是样本 i 和样本 j 之间的协方差。我们知道,为了计算协方差: 并且协方差最高x = y 时的值,当两个样本彼此更相似时值更高。因此,这个矩阵显示了样本之间的相似性。阈值k也乘以该协方差矩阵的所有元素。Mij
covariance(x,y)=1ni=1n(xiμx)(yiμy)

因此,如果我们有 n 个数据样本,每个样本都有 d 维,将是一个n × d矩阵,将是一个(我不确定)矩阵,而将是一个n × n矩阵。Xmunby1

函数 f(x) ~ GP(mu,k(x,x')) 是增量执行的吗?例如,第 n 个计算值 f(xn) 使用值 f(x-1)...f(xn) 来计算其均值和方差?

不它不是。我们知道 f(x) 是一个向量: 并且这些中的每一个都是单独计算的。

GP(mu,k(x,x))=f(x)=[f(x1),f(x2),...,f(xn)]T
f(xi)