验证损失与训练损失是相同的度量，但它不用于更新权重。它以相同的方式计算 - 通过在输入上运行网络$\mathbf{x}_i$并比较网络输出$\mathbf{\hat{y}}_i$具有基本真实值$\mathbf{y}_i$使用损失函数，例如$J = \frac{1}{N} \sum_{i=1}^{N} \mathcal{L}(\mathbf{\hat{y}}_i, \mathbf{y}_i)$在哪里$\mathcal{L}$是以某种方式基于预测值和目标之间的差异的个体损失函数。

更新权重时是否使用验证损失？

不，事实上这与它的目的背道而驰。

或者它只是衡量你在当前时代的观察距离有多远？

是的。使用您没有训练过的数据集的目的是衡量您的模型对未见记录的泛化程度。很多时候，在构建预测模型时，这是主要目标，实际上比拟合训练数据更重要（拟合数据部分是学习所必需的，但不是目标）。每当您构建模型以用于针对新的、以前看不见和未标记的数据做出预测时，就会出现这种情况。

使用相同角色的训练数据来检查泛化是不安全的。许多模型类型可以完美地学习训练数据，但在从不是来自训练集的新值中进行预测时却很糟糕。这是您要避免的，通常是由过度拟合引起的，而神经网络通常会过度拟合。使用验证集是一种监控和帮助控制过拟合的方法。

神经网络（和其他模型类型）通常在每个 epoch 上使用验证集，因为训练时间过长会导致过度拟合，并且模型无法从中恢复，它们只会变得更糟。所以它可以节省很多浪费的精力来监控验证损失，并在很长时间没有改善或开始变得更糟时停止训练。