我正在使用 Orange Data mining 3.8 使用留一交叉验证对数据集进行分类。
我知道结果(,,) 取平均值;我怎样才能得到结果(,,) 的每一折?
我正在使用 Orange Data mining 3.8 使用留一交叉验证对数据集进行分类。
我知道结果(,,) 取平均值;我怎样才能得到结果(,,) 的每一折?
对于 AUC,你不能。留一法仅使用训练集中的一个数据实例。计算 AUC 需要更多数据。
对于一般的交叉验证(例如,10 折交叉验证),有几种方法可以检查每个折中发生的情况。执行交叉验证的测试和评分小部件输出一个数据表,其中包含对测试集中每个数据实例的预测。与预测概率、预测类别、原始类别一起,数据还包括有关折叠的信息。然后,您可以通过折叠选择结果并进一步分析,例如,在箱形图中。
要计算每个折叠的评估统计信息,请使用 Data Sampler,选择“交叉验证”进行采样,选择所需的折叠,然后连接 Data Sampler 和 Test & Score 小部件之间的连接,如下所示。请注意,在此设置中,数据采样器将折叠数据输出为样本(用作测试数据),将折叠数据输出为剩余数据(用作训练数据)。