这是一个理论问题。我是人工智能和机器学习的新手,越看越喜欢这个。到目前为止,我一直在阅读有关语言模型评估的内容(我专注于 ASR),但我仍然没有得到开发测试集的概念。
我遇到的最清楚的解释如下(摘自Dan Jurafsky 和 James H. Martin的《语音和语言处理》(第 3 版草稿)一书的第 3 章)
有时我们经常使用特定的测试集,以至于我们隐含地调整到它的特征。然后,我们需要一个真正看不见的新测试集。在这种情况下,我们将初始测试集称为开发测试集或 devset。
无论如何,我仍然不明白为什么必须使用额外的测试。换句话说,为什么训练和测试集还不够?