在橙色画布中获取折叠结果

数据挖掘 分类 交叉验证
2022-02-16 09:54:34

我正在使用 Orange Data mining 3.8 使用留一交叉验证对数据集进行分类。

我知道结果(AUC,CA,F1) 取平均值;我怎样才能得到结果(AUC,CA,F1) 的每一折?

1个回答

对于 AUC,你不能。留一法仅使用训练集中的一个数据实例。计算 AUC 需要更多数据。

对于一般的交叉验证(例如,10 折交叉验证),有几种方法可以检查每个折中发生的情况。执行交叉验证的测试和评分小部件输出一个数据表,其中包含对测试集中每个数据实例的预测。与预测概率、预测类别、原始类别一起,数据还包括有关折叠的信息。然后,您可以通过折叠选择结果并进一步分析,例如,在箱形图中。

使用折叠选择进行测试和评分

要计算每个折叠的评估统计信息,请使用 Data Sampler,选择“交叉验证”进行采样,选择所需的折叠,然后连接 Data Sampler 和 Test & Score 小部件之间的连接,如下所示。请注意,在此设置中,数据采样器将折叠数据输出为样本(用作测试数据),将折叠数据输出为剩余数据(用作训练数据)。

基于交叉验证的数据抽样