您可能对此处的 gpml_extensions 存储库感兴趣：

https://github.com/rmgarnett/gpml_extensions/

有用于计算精确推断的对数似然 wrt的 Hessian和用于近似 GP 推断的拉普拉斯近似的代码。还有一些方便的代码可以使用这些代码来找到超参数后验 (theta_posterior_laplace.m) 的拉普拉斯近似。$\theta$$p(\theta \mid \mathbf{X}, \mathbf{y})$

最后，来自 UAI 2014 的这篇论文提出了一种对后验预测分布的快速分析逼近（称为 MGP）

$p(f^\ast \mid \mathbf{x}^\ast, \mathbf{X}, \mathbf{y}) = \int p(f^\ast \mid \mathbf{x}^\ast, \mathbf{X}, \mathbf{y}, \theta) p(\theta \mid \mathbf{X}, \mathbf{y}) \, \mathrm{d}\theta$ ,

在后验的任意高斯近似下：$\theta$

$p(\theta \mid \mathbf{X}, \mathbf{y}) \approx \mathcal{N}(\theta; \hat{\theta}, \mathbf{\Sigma})$。

拉普拉斯近似是推导出这种近似的一种方法。

有一个构建在 gpml/gpml_extensions 之上的 MGP 实现可从同一用户获得，但我没有发布该链接的声誉。

到目前为止，我可以在网上找到的最好的参考资料，也是一个非常合适的参考资料，是 Ville Pietiläinen 的硕士论文： 高斯过程中超参数积分的近似值(2010)。

Pietiläinen 将点估计方法（所谓的 MAP-II，因为潜在变量在给定高斯似然度的情况下通过分析边缘化）与三种边缘化方法进行了比较：

1. 网格搜索（使用“智能”网格）
2. 中央复合设计（CCD）
3. Student-的准随机重要性抽样$t$提案分发

有趣的是，对于论文中考虑的案例研究，超参数的边缘化似乎只为小型数据集（例如，不超过 50-100 个训练点）的优化提供了一些好处。更一般地说，正如 Pietiläinen 所说，边缘化的优势应该出现在输入密度低（因此预测不确定性高）区域的测试点上。

三种不同的边缘化方法的表现有些相似，尽管论文中的比较并不详尽。CCD 很有吸引力，因为它需要的功能评估比其他方法少得多。

另一个有趣的参考资料是 Philip Boyle 的博士论文： 回归和优化的高斯过程(2007)。特别是，第 8 章侧重于超参数的边缘化。

总之，我最终会尝试并实施 CCD 方法，尽管此时不是优先事项，因为我不期望在优化方面有重大收获。我可能可以更好地利用对预测质量有较大影响的其他因素（例如，协方差函数的选择）来消磨时间。