机器算法验证 - 高斯过程：函数逼近性质 - 吾爱随笔录

高斯过程：函数逼近性质

机器算法验证高斯过程

2022-02-11 04:08:25

我正在学习高斯过程，只听说过零碎的东西。非常感谢评论和答案。

对于任何一组数据，高斯过程函数近似是否会在数据点处给出零或可忽略的拟合误差？在另一个地方，我还听说高斯过程特别适用于嘈杂的数据。这似乎与任何观察到的数据的低拟合误差相冲突？

此外，离数据点越远，似乎有更多的不确定性（更大的协方差）。如果是这样，它的行为是否像本地模型（RBF 等）？

最后，是否有任何普遍的近似属性？

1个回答

假设数据样本为。还假设我们有一个协方差函数和为 Gussian 过程指定的零均值。新点的分布将是高斯分布，均值和方差向量是协方差向量, 矩阵 $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$

V (x) = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$ 是样本协方差矩阵。如果我们使用样本插值属性的后验分布的平均值进行预测。实际上，但是，如果我们使用正则化，即包含白噪声项，情况并非如此。在这种情况下，样本的协方差矩阵的形式为，但对于具有实函数值的协方差，我们有协方差矩阵，后验平均值为此外，正则化使问题在计算上更加稳定。

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

m (X) = K (K + σ I)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

选择噪声方差我们可以选择是想要插值（）还是想要处理噪声观察（很大）。 $\sigma$ $\sigma = 0$ $\sigma$

此外，高斯过程回归是局部方法，因为预测的方差随着与学习样本的距离而增长，但我们可以选择适当的协方差函数并处理比 RBF 更复杂的问题。另一个不错的特性是参数数量少。通常它等于，其中是数据维度。 $k$ $O(n)$ $n$

其它你可能感兴趣的问题

上一篇关于统计随机性的一些问题下一篇用简单的 R 语言解释和验证 Cox 比例风险回归模型