在研究中，新的评估措施一直被提出，但经常针对特定用例：要么是因为这是一项没有既定评估标准的新任务，要么是因为新措施可证明解决了以前评估标准的一些问题/限制.

评估度量（或性能指标）的目的是表示任何系统对给定任务的预测质量。这意味着：

• 评估措施是专门为任务选择的。一些措施非常普遍，因为许多任务可以以标准方式构建，例如分类问题。
• 评估的核心问题是如何以正式的方式定义“质量”。绩效指标始终是“质量”的简化表示，但它必须至少与该任务的人类专家所说的“质量”大致相关。

自然，开发新评估措施的第一步是选择目标任务（或任务组）。然后必须证明新的评估措施在衡量这项任务的质量方面带来了一些显着的优势。当然，这是最难的部分，而且总是具体取决于任务。

例如，已经为机器翻译提出了许多评估措施（甚至还有一个专门针对该主题的常规共享任务）。MT 评估度量本身的评估方式与人类判断相反：如果自动度量与人类对翻译质量的判断密切相关，那么它是一个很好的度量。