训练和验证时可能会出现几种情况：
- 训练损失和验证损失都在减少，训练损失低于验证损失。
- 训练损失和验证损失都在减少，训练损失高于验证损失。
- 训练损失减少，但验证损失增加。
我知道过度拟合发生在场景 3 中，但是过度拟合发生在场景 1 中吗？如果是这样，这是否意味着只有在场景 1 或场景 3 发生时才会发生过度拟合？否则，如果过度拟合只发生在场景 3 中，这是否意味着只有在验证损失增加时才会发生过度拟合？
过拟合仅取决于验证损失还是训练和验证损失？
数据挖掘
训练
过拟合
验证
2022-03-05 04:03:49
1个回答
在我看来，只有案例 3 应该被认为是过度拟合。正如@stans 所提到的，过度拟合没有一个非常严格的定义，因此其他人可能会有不同的想法。
我不会说验证损失停止减少的点是偏差和方差最小化的地方，因为偏差和方差之间存在权衡：
- 常数模型将具有非常低的方差，但非常高的偏差。
- 过拟合模型的偏差非常低，但方差非常高。
验证损失开始增加的点可以被认为是平方偏差和方差之和的最佳值，即泛化误差的最佳值。