真正的积极比积极的多吗?

数据挖掘 机器学习 研究
2022-02-17 22:44:06

目前正在阅读 Learning from Little:在很少训练的情况下分类器的比较

3 Experiment Results中,共享以下图表:

实验描述如下

我们首先检查所有基准任务的平均 TP10 性能示例结果集,其中训练集有 P=5 正数和 N=200 负数。我们沿对数 x 轴改变选择的特征数量。

我将其理解为“我们使用一个包含 205 个元素的训练集,其中 5 个是正面的,剩下的 200 个是负面的”。但是从结果来看,使用信息增益的朴素贝叶斯和使用具有数百个特征的双正态分离的多项朴素贝叶斯最终在前 10 名中有 6.5 个真阳性(TP10 指标是真阳性的数量在分类器最强烈地预测为阳性的 10 个测试用例中发现)。

我会假设最接近 5/10 的模型将是最准确的,但阅读他们的结果,看起来越高越好。因此,感觉就像我忽略和误解了一些东西。有人可以在这个问题上启发我吗?

谢谢

1个回答

当然不可能有高于100%结果中的真阳性率。

作者确实解释了他是如何得出他的结果的,但我必须承认这一点也不明显。在第2 节实验协议的性能指标小节中,作者解释说指标计算为

TP10 指标是在分类器最强烈地预测为阳性的 10 个测试用例中发现的真阳性数。

这意味着 TP10 仅使用测试集计算。作者还在第 2 节实验协议状态的实验程序小节中进行了解释

第二个循环的条件确保有 40 个可用于训练的正例加上至少 10 个其他测试集中的正例(同样,200 个负例用于训练,至少 50 个用于测试)

所以我们看到实际上至少有 10 个测试实例用于计算 TP10。