许多资源教授了将数据拆分为训练、验证和测试集的过程。这就是您想要对无法获取额外数据的“封闭”数据集执行的操作。

这种封闭数据集的假设在现实世界中通常是不正确的，在现实世界中收集更多数据可能是可行的。从统计学上讲，将测试集定义为与训练数据分开收集的新数据样本更为可取。这可能更能代表模型在生产中的行为方式，但有时甚至这还不够：

几周前，我为汽车构建了一个图像分类器。我使用现有数据集和网络抓取的结果对其进行了训练。最终，它是通过一个 iOS 应用程序部署的，它应该在其中进行实时预测。在这种情况下，仅仅创建一个测试拆分或从网络上收集一个新样本是不够的。我们需要拍摄代表用例的自己的图像，以便对应用程序的性能做出现实的假设。