模型验证的评估指标在整个超参数搜索过程中必须相同，以便公平地比较不同的模型。

在整个超参数搜索过程中，模型拟合的目标函数可能不同。在超参数搜索过程中，您可以比较不同的算法，并且每种算法都可以有不同的目标函数。

目标函数和评估指标应该被认为是完全独立的概念。每个算法只能有一个目标函数。但是，可以有许多评估指标。为计算机选择目标函数，以便它们能够有效地拟合训练数据。为人类利益相关者选择评估指标，以便他们更好地了解模型的影响。

这两个概念之间的混淆通常来自于仅仅测量机器学习系统以最小化错误。如果机器学习系统的测量范围扩大到包括其他要求，那么目标函数和评估指标之间的区别就更清楚了。目标函数通常仅设置为最小化训练数据集的误差并与所选的优化技术配合良好。评估指标也可以评估模型误差，但也可以包括预测速度、模型大小、模型公平性和许多其他要求。