最简单的做法是将高斯过程与非 ARD 等效协方差函数（通常是 RBF）拟合并比较测试错误率。对于许多问题，ARD 协方差函数的性能比非 ARD 协方差函数差，因为在调整超参数时过度拟合。由于 RBF 协方差是 ARD 协方差的一个特例，如果 RBF 表现更好，则强烈表明 ARD 内核过拟合（开始在相应 RBF 协方差的最佳值处优化 ARD 系数，这是更快，并且还有助于确保 ARD 协方差的问题不仅仅是由于边际可能性中的局部最小值）。这是一个比人们普遍认为的要大得多的问题。

我为此写了几篇论文：

GC Cawley 和 NLC Talbot，通过超参数的贝叶斯正则化防止模型选择过程中的过度拟合，机器学习研究杂志，第 8 卷，第 841-861 页，2007 年 4 月 ( pdf )

和

GC Cawley 和 NLC Talbot，模型选择中的过度拟合和性能评估中的后续选择偏差，机器学习研究杂志，2010 年。研究，第一卷。11，第 2079-2107 页，2010 年 7 月 ( pdf )

第一个包括对 GP 的一些实验，这表明模型选择中的过度拟合对于基于边际似然最大化的模型选择的 GP 来说也是一个问题。

更彻底的分析是在优化边际似然的过程中的每一步评估 GP 的测试误差。您很可能会得到经典的过拟合标志，其中模型选择标准单调递减，但测试误差最初会减少，但随着模型选择标准过度优化，随后又开始上升（参见2010 JMLR 论文中的图 2a）。