假设我们想预测一个学生是否会根据她的简历进行工作面试。

现在，假设我们从 10,000 份简历及其结果的数据集中训练一个模型。

接下来，我们在原始数据集上试用该模型，它以 99% 的准确率预测结果……哇！

但现在坏消息来了。

当我们在一个新的（“看不见的”）简历数据集上运行模型时，我们只能得到 50% 的准确率……呃，哦！

我们的模型不能很好地从我们的训练数据泛化到看不见的数据。

这被称为过度拟合，它是机器学习和数据科学中的常见问题。

过拟合 V/s 欠拟合

通过查看相反的问题，欠拟合，我们可以更好地理解过拟合。

当模型太简单（特征太少或正则化太多）时，就会出现欠拟合，这使得从数据集中学习变得不灵活。

简单的学习者在预测中的方差往往较小，但对错误结果的偏见更大（请参阅：偏差-方差权衡）。

另一方面，复杂的学习者往往在他们的预测中有更多的变化。

偏差和方差都是机器学习中预测误差的形式。

通常，我们可以减少偏差带来的误差，但结果可能会增加方差带来的误差，反之亦然。

太简单（高偏差）与太复杂（高方差）之间的权衡是统计和机器学习中的一个关键概念，并且会影响所有监督学习算法。

我学到的东西是绘制学习曲线，我知道，这并不像编写机器学习代码本身那样有趣，但它是直观地理解正在发生的事情的基础。

经验法则的定义是，当您的训练准确度不断提高而您的验证准确度停止提高（甚至开始变得更糟）时，就会发生过度拟合。

避免过度拟合的最简单解决方案是提前停止（一旦情况看起来不好就停止训练），当然，最简单的解决方案是有代价的：它不是最好的解决方案。正则化和辍学是争夺拟合的好工具，但那是另一回事:)

希望能帮助到你

正如您引用的消息来源所说，“测试数据的成本只不过是分类准确性的代表。” 你可能会问，为什么要使用代理，为什么不直接使用准确率呢？答案是您需要最小化权重和偏差的成本函数。因此，它必须是权重和偏差的可微函数。精度不是可微分函数，因此不能直接使用。但是由于最终您关心准确性，正如您自己上面所说明的那样（...请注意，分类准确度在第一个实例中是 100%，但成本更高...），您可以根据测试的准确度确定过度拟合放。

要了解过度拟合的含义以及它如何影响模型的准确性，您需要了解偏差 - 方差权衡。

欠拟合和过拟合是两个与偏差方差问题直接相关的不同问题。了解三个不同因素之间的关系以及这些因素如何与偏差-方差（过拟合-欠拟合）问题相关联始终很重要：

1-模型的大小。参数数量

2- 可用于训练的数据量。训练样本数。

3-迭代次数。训练迭代。

将这些因素中的任何一个与过度拟合-欠拟合问题直接联系起来而不查看其他因素总是会导致错误的结论。

由于了解这些因素并通过使用数学方程来避免过拟合和欠拟合问题联系主题是一项艰巨的任务，更多的是依赖于任务，人们使用简单的方法来发现和避免过拟合。简单的方法是将数据分成三个不同的部分，训练、验证和测试。测试不应该被触及。使用训练集训练网络，使用验证集在每次迭代或多次迭代后测试网络。从理论上讲，您会看到验证集上的误差在前 N 次迭代中逐渐减小，然后在极少数迭代中保持稳定，然后开始增加。当错误开始增加时，您的网络开始过度拟合训练数据并且应该停止训练过程。

注意：值 N 与我上面列出的三个因素非常相关。拥有一个演示训练集并使用不同的模型、训练数据进行测试始终是一个好习惯。您会看到模型越大 - 训练数据越少 N 越小。模型越小 - 训练数据越多 N 越大。注意：使用具有欠拟合问题的小型模型时要小心。