具有预测不确定性的非参数非线性回归(除了高斯过程)

机器算法验证 回归 机器学习 贝叶斯 非参数 高斯过程
2022-03-21 15:32:38

对于具有预测不确定性的非参数非线性回归,当训练集的大小开始变得对普通 GPs 来说变得令人望而却步,但它仍然不是很大时,什么是高斯过程 (GP) 的最先进替代方案?

我的问题的详细信息是:

  • 输入空间是低维的(XRd, 和2d20)
  • 输出是实值(YR)
  • 训练点是103N104,大约比您可以处理的标准 GP 大一个数量级(没有近似值)
  • 功能f:XY近似是一个黑盒;我们可以假设连续性和相对平滑度(例如,我会使用 Matérn 协方差矩阵ν=52全科医生)
  • 对于每个查询点,近似值需要返回预测的均值和方差(或不确定性的类似度量)
  • 当一个或几个新的训练点被添加到训练集中时,我需要该方法能够相对快速地重新训练(大约几秒钟)

欢迎任何建议(对方法的指针/提及以及您认为它有效的原因就足够了)。谢谢!

1个回答

一个 Matérn 协方差矩阵ν=5/2几乎收敛到平方指数内核

所以我认为基于径向基函数 (RBF) 的方法在这种情况下是完美的。它速度很快,适用于您拥有的那种黑盒功能,并且您可以获得不确定性的度量。

您也可以对 GP 使用诱导点近似,查看文献中的 FITC,但您在选择诱导点的位置有同样的问题。