在开发机器学习模型时，在哪个阶段使用 ROC 曲线和 AUC？
通常我有三个数据集
train- validation-final test
我使用组合train + validation集进行 K-Fold 交叉验证在该阶段，我们可以计算包括真阳性、假阳性以及其他指标在内的指标，并将它们平均以创建类似于 ROC 曲线的图。类似于scikit-learn 的这个例子
然而，我们也可以通过使用所有数据训练最终模型并在最后进行train + validation测试来test set获得指标，这也可以为我们提供所有指标、分类报告和 ROC 曲线等。
我的问题是，人们通常会做两次 ROC 曲线，一次在交叉验证期间，然后第二次用于最终测试？还是仅在选择算法时在验证阶段/超参数调整期间使用的东西？