假设我正在使用 10 倍交叉验证比较 60 种不同的模型超参数值组合。很容易选择平均精度最高的超参数组合。但是,在决定最佳超参数组合时,是否应该使用精度的标准差?如果是这样,任何特别的经验法则(例如,使用在标准偏差方面具有最高平均准确度的超参数组合)
是否有使用 k 折交叉验证分数的标准差来选择最佳模型的经验法则?
机器算法验证
交叉验证
标准差
模型评估
2022-03-30 13:54:47
2个回答
有点。有所谓的“一个标准误差规则”,它确实使用了预测误差估计的标准偏差,尽管与您提到的方式不同:相反,您将标准偏差除以估计数的平方根形成平均估计的标准误差。
一个标准误差规则说:选择最简单的模型,其平均估计预测误差在最佳性能模型的估计预测误差的 1 个标准误差之内。在实践中,“最简单模型”通常意味着“最强正则化模型”。当然,“表现最佳的模型”是所有测试模型中平均估计预测误差最低的模型。
说得更清楚一点,这条规则说我们要选择最简单的模型,它在本质上仍然和最好看的模型一样好——最好看的模型可能要复杂得多,尽管只有微小的增长。表现。
除了@jake-westfall 的回答,它为您提供了一个易于应用的经验法则:
您在不同折叠的准确度/误差之间观察到的差异(至少)由由于该代理模型测试的案例数量有限而导致的一些差异和由于代理模型之间的差异(不稳定性)而导致的一些差异组成。后者是您希望通过正则化来权衡偏差的方差,而前者会妨碍您检测改进的能力。因此,再看一遍,我建议检查由于测试用例数量引起的方差是否足够低,以便明智地进行比较。
其它你可能感兴趣的问题