使用 Orange 的训练集、验证集和测试集

数据挖掘 训练
2022-02-11 08:19:57

是否可以使用 Orange(仅使用其小部件,无需编写 Python 代码)来实现以下典型的机器学习过程?

  1. 训练一个训练集,
  2. 验证验证集(例如使用 k 折交叉验证),以及
  3. 使用测试集测试模型。

使用“测试和分数”小部件,使用单个数据集。这是否意味着只执行验证,而没有实际测试?在这种情况下,分类结果(准确性、AUC 等)是否可以认为可靠?

3个回答

答案是肯定的。如果 Test & Score 只给出一个数据集,那么它所能做的就是显示交叉验证的结果。

要在单独的数据集上测试模型,请使用单独的文件小部件来加载训练和测试数据。将带有训练数据的文件小部件连接到测试和分数,将带有测试数据的文件小部件连接到测试和分数。连接任何要测试的学习者(在图中的工作流程中,我使用了逻辑回归和随机森林)。确保在 Test & Score 中选择了“Test on train data”。

带有测试和分数小部件的橙色工作流

在图像分类的情况下,在此处输入图像描述可以通过附加配置实现对不同数据集的训练和测试?这是正确的吗?

您可以尝试使用小部件“保存模型”来保存您创建的模型并“加载模型”来验证新的数据集。

在此处输入图像描述