我认为验证集和测试集的区别应该这样解释：

• 验证集旨在多次使用。
• 测试集只能使用一次。

我认为这里出现了误解，因为机器学习的教学大多只关注大型管道的特定部分，即模型训练。在每个教程中都使用了标准数据集，这样您就不必担心数据收集、数据标记（看到很多人不知道注释器间协议是什么真的很遗憾）、数据预处理和特别是关于模型实际应用的所有部分几乎从未提及。

如果您专注于后续部署你训练的模型。没有人期望模型在训练和应用于某些未知数据时具有相同的性能分数。关键在于，模型在验证集上的表现并不能代表具有未知数据的模型的行为，因为相同的验证数据已被用于微调模型！因此，这就是为什么拥有一组对模型全新的数据很重要的原因，因为它可以让您对真实用例场景中的模型性能有更公正的看法。

简单地说，您使用您的验证集来规范您的模型以获取看不见的数据。测试数据是完全看不见的数据，您可以在这些数据上评估您的模型。

各种验证策略用于改进您的模型以处理看不见的数据。因此使用了诸如 k 折交叉验证之类的策略。此外，验证集可帮助您调整超参数，例如学习率、批量大小、隐藏单元、层数等。

训练、验证、测试集可帮助您确定您是欠拟合还是过拟合。

例如，如果任务中的人为错误为 1%，训练错误为 8%，验证错误为 10%，测试集错误为 12%，那么，

之间的区别，

1. 人类水平和训练集错误告诉你“可避免的偏差”
2. 训练集错误和验证集错误告诉你“方差和数据不匹配”
3. 验证集错误和测试错误告诉您验证集的“过度拟合程度”。

基于这些指标，您可以应用适当的策略来提高验证集或测试集的性能。