如何从相关向量机和高斯过程回归计算预测误差?

机器算法验证 r 机器学习 贝叶斯
2022-03-20 08:22:54

有谁知道如何使用kernlab R 包在给定经过训练的相关向量机 ( rvm) 和/或高斯过程回归 ( ) 的情况下构建一个置信区间来预测新的测试值?gausspr

更具体地说,我如何获得:

  1. 新测试点的标准误差/偏差(方差);

  2. 参数后验分布的参数估计?

rvm如果有人可以从函数调用(或gausspr的输出中指向讨论如何获取/计算上述内容的文档,我将不胜感激。

1个回答

好的,这是独家新闻:首先,看看我在伯克利的课程。GP 回归的幻灯片很快就会在http://alex.smola.org/teaching/berkeley2012上发布,我会在其中更详细地讨论这个问题。

对于 GP 回归,您可以整合潜在 GP,并且由于观察模型和基础 GP 都是高斯的,因此您再次得到高斯。在数学中,这意味着

y=t+ϵ.

这里是从 GP 中得出的,是独立的高斯随机变量。的 GP 表示,您就可以简单地以观察到的项为条件来获得其余项的残差。这产生了一些形式tϵy

E[y|y]=μ+KxxKxx1(yμ)

方差是

KxxKxxKxx1Kxx.

显然,这里我们将的噪声添加到主对角线。对于相关向量机来说,这并不是那么简单,因为它假设了一个相当不同的噪声模型。所以你不能明确地整合潜在变量。请查看我的书“Learning with Kernels”或 Mike Tipping 的原始论文以了解详细信息。ϵ