在您完成模型调整之前，验证集会阻止您使用测试集。完成调优后，您希望对模型如何处理看不见的数据有一个真实的看法，这就是测试集发挥作用的地方。

但调整模型不仅仅是超参数。它涉及特征选择、特征工程以及算法选择等内容。即使您似乎已经决定了模型，您也应该考虑替代方案，因为它可能不是最佳选择。

比较模型不能（或不应该）单独使用测试集来完成。您应该始终保留一组最终数据来估计您的泛化错误。假设您比较了 100 种不同的算法。由于特定数据的性质，最终将在测试集上表现良好。您需要最终的保留集来获得偏差较小的估计。

比较模型可以用与调整超参数相同的方式来看待。这样想，当你调整超参数时，你是在比较模型。就要求而言，将具有 200 棵树的随机森林与具有 500 棵树的随机森林进行比较与将随机森林与神经网络进行比较没有什么不同。