使用 K-Fold CV 时,进行训练/验证/测试拆分仍然有用吗?
或者只是一个训练/测试?即将数据分成k个箱子,留下一个用于测试,对其余的进行训练,然后取平均分。
使用 K-Fold CV 时,进行训练/验证/测试拆分仍然有用吗?
或者只是一个训练/测试?即将数据分成k个箱子,留下一个用于测试,对其余的进行训练,然后取平均分。
这取决于。如果您在不调整超参数的情况下评估模型的性能,那么训练/测试拆分就足够了。
如果您正在调整超参数,那么您需要一个验证集。在每一折中,您将在训练集上进行训练(当然),使用验证集来调整超参数。然后,您将评估测试集的性能。
非常开放的结尾和上下文相关,但通常:
您已经有一个测试集,实际上每个 CV 折叠中都有一个“新”集。
一次性完成对整个数据集的训练后,使用 CV 进行模型实验。