如果不可用，我想知道如何提出基本事实（相关性标签）？

如果没有人知道输出应该是什么，则根本没有办法正确评估系统。但是，有一些方法可以解决缺少注释数据的问题：

• 请一组注释者对样本的输出质量进行评分。缺点：如果从未预测过相关实例，注释者不太可能注意到它。
• 将输出与最先进的系统进行比较。缺点：评价系统只能和参考系统一样好，参考系统的任何错误都被认为是正确的。
• 使用自动方法生成人工数据。缺点：评估依赖于人工数据的质量，因此理论上必须证明人工数据与真实数据一样好……这通常比实际收集真实数据更难。

在那种情况下，研究人员如何计算准确率和召回率？或者他们如何生成它？

他们不能。这就像在不知道正确答案的情况下给试卷评分。

这就是为什么基准数据集对研究界如此重要并作为适当的科学贡献发表的原因。