高斯过程中的归纳偏置

数据挖掘 机器学习 高斯
2022-02-17 18:37:27

所有监督学习技术都有某种归纳偏差。高斯过程模型中的归纳偏差是什么?

1个回答

高斯过程 (GP) 的归纳偏差编码在协方差核中。GP 是函数的分布——当我们选择内核时,我们指定了我们期望解函数具有的特征,例如平滑、线性、周期性等。

例如,一个常见的协方差核是平方指数:

kSE(x,x)=exp(||xx||222l2)

在哪里l是特征长度尺度。该内核指定未观察到的点将与每个观察到的点相似,作为两点之间欧几里得距离的指数衰减函数。

更详细的解释可以在 Andrew Gordon Wilson 的论文第 2.4 节或在Gaussian Processes for Machine Learning一书中找到。