一般来说，将数据分成三组是个好主意：

• 训练集（60-80% 的数据）
• 交叉验证集（10-20% 的数据）
• 测试集（10-20% 的数据）

当您选择仅使用训练集和测试集的模型时，您选择的是在之后的测试集上表现最佳的模型。起初这似乎是合理的，但这通常是对模型泛化误差的过于乐观的估计。这是因为您实际上是在将模型拟合到另一个参数$d$， 在哪里$d$是你的测试集。

为了解决这个问题，你可以在你的训练集上训练一个模型，然后选择在你的交叉验证集上表现最好的模型。现在，该模型不再适合测试集，您可以安全地估计测试集上的泛化误差。

听起来您已经在遵循这种方法来选择模型，方法是选择在您的训练集上进行 10 倍交叉验证时表现最佳的模型。在这种情况下，您的测试集上的错误应该是对泛化错误的良好估计。

您还提到，由于训练数据中的异常值，随机性可能会影响您的训练：

...因为保留样本与训练样本的 20-80 拆分只进行了一次，因此可能太受随机性的影响。

在机器学习中，通常假设我们的数据是来自某个未知分布的独立同分布（独立同分布）。平均而言，当我们拆分数据时，我们应该得到代表这种分布的数据点。更好地确保这一点的一种常见做法是在拆分数据之前随机打乱整个数据集。