我们是否可以说:交叉验证次数越多,过度拟合的可能性就越小?

人工智能 交叉验证
2021-11-07 11:44:13

根据我上一个问题的回答: 如何在进行参数调整时避免过度拟合?

我们可以说:我们增加交叉验证的数量 K 越多,我们过拟合的可能性就越小?

1个回答

一般来说,没有。

在使每个折叠的验证集更小和总共有更多折叠之间需要权衡。

例如,如果您有N折叠为N数据点,每个折叠在其验证集中只有一个数据点。模型在单个数据点上的验证准确性并不是模型测试性能的可靠估计量。实际上,您可以构建误差任意大的示例。

出于这个原因,人们有时会在需要大量折叠时使用Bootstrap Validation 。但在实践中,大多数人只是我们 10 折,这“足够好”。