仅使用混淆矩阵(或平均准确度)统计比较分类器

机器算法验证 机器学习 统计学意义 模型选择 交叉验证
2022-04-05 13:16:05

是否可以仅使用这些分类器的混淆矩阵来执行统计测试以确定一个分类器是否优于另一个分类器?

k-fold 交叉验证的平均准确率如何?

对于通过 k 折交叉验证(使用 RapidMiner 完成)获得的分类器,我有一个数字混淆矩阵和平均准确度。这些分类器的数据集都是相同的,尽管分成折叠都是独立完成的。我想做的是,给定其中两个分类器 A 和 B,能够仅使用混淆矩阵和/或分类器 A 和 B 的平均准确度来测试 A 在统计上是否优于 B。

到目前为止,我发现的所有统计测试都需要知道 A 正确分类而 B 没有正确分类的样本数量,反之亦然。(例如 McNemar 的测试)。如有必要,我可以生成这些数据,但如果可能的话,我想避免它。

1个回答

您想测试是否其中是分类器的准确度。要对此进行测试,您需要估计在不知道每个分类器正确/错误的样本的情况下,您将无法估计协方差,因此您无法在统计上比较分类器。

pApB>0,
pA,pB
pApB
Var(pApB)=Var(pA)+Var(pB)2Cov(pA,pB)