对于我的项目,我运行了几个模型构建程序。我使用外部折叠中测试分数的平均值和标准差作为模型构建过程的普遍性的估计量。但是我想知道是否还有一种方法可以估计我的超参数所选值的稳定性?距离测量之类的?
示例 1:
例如,假设我使用支持向量机作为分类器运行嵌套交叉验证。我将C和内核实现为超参数。请注意,C是一个连续变量,而Kernel是一个分类变量。我还平滑了我的数据并将平滑 FWHM实现为超参数。我的超参数在外部折叠上得到以下值:
您可以看到每个代理模型包含的超参数值略有不同。
示例 2:
在第二个示例中,您可以看到我的每个代理模型都为我的超参数选择了相同的值或类别。因此,在超参数值选择方面,这个模型构建过程可以被称为更稳定。

