如何检查这些模型的组合是否良好?

人工智能 机器学习 分类 表现 集成学习 测试
2021-10-25 08:39:03

我选择了 10 多个判别(分类)模型,每个模型都用一个BaggingClassifier对象包裹,用 优化GridSearchCV,并且所有这些模型都放在一个VotingClassifier对象内。

在大约一半正态/均匀分布和一半单热分布的数据集上,它们都带来了大约 70% 的准确度。它们一起提供了 80% 的准确率,这还不够好,因为有人告诉我 95%< 是可以实现的。

模型:DecisionTreeClassifierExtraTreesClassifierKNeighborsClassifierGradientBoostingClassifierLogisticRegressionSVCPerceptron和更多分类器。

如何检查组合是否良好?

1个回答

善是主观的。如果质量目标如此脆弱,就不可能获得可靠的知识。

您给出的可靠客观标准是 95%,因此按该标准来说它很糟糕。(我假设给定数据集或来自给定数据集的随机样本预期为 95%。)

但是,80% 的准确度是好的,您将单个模型的准确度度量相加,除以模型的数量,并发现您的聚合执行策略比平均值提高了 10 个百分点. (我在这里假设您使用了一组定义的网络元参数、层深度和宽度、起始参数、到层的激活模型映射、网络间连接以及每个模型的损失/错误方法,类似于聚合执行策略。)

我有四个问题。(我很抱歉这个问题导致了上述两个假设和更多问题。)

  • 80% 的准确度是否也远高于单个模型的准确度集的最大值?
  • 使用少于或等于计算资源消耗以达到 80% 的最佳单个模型的额外运行时间,是否可以实现计算资源消耗以达到 80% 的准确度?
  • 您是否使用一整套元参数向量进行评估以检查整个元空间的最佳情况?
  • 什么样的经济、合同或运营硬停止决定了 90%?

如果我们知道这些答案,我们或许能够更有效地做出反应,并可能在逻辑中找到一个漏洞,让您得出一个不受欢迎的定局。