是否可以仅使用这些分类器的混淆矩阵来执行统计测试以确定一个分类器是否优于另一个分类器?
k-fold 交叉验证的平均准确率如何?
对于通过 k 折交叉验证(使用 RapidMiner 完成)获得的分类器,我有一个数字混淆矩阵和平均准确度。这些分类器的数据集都是相同的,尽管分成折叠都是独立完成的。我想做的是,给定其中两个分类器 A 和 B,能够仅使用混淆矩阵和/或分类器 A 和 B 的平均准确度来测试 A 在统计上是否优于 B。
到目前为止,我发现的所有统计测试都需要知道 A 正确分类而 B 没有正确分类的样本数量,反之亦然。(例如 McNemar 的测试)。如有必要,我可以生成这些数据,但如果可能的话,我想避免它。