模式识别任务中最先进的集成学习算法?

机器算法验证 机器学习 神经网络 模式识别 集成学习 光学字符识别
2022-02-09 12:55:42

这个问题的结构如下:首先,我提供集成学习的概念,进一步提供模式识别任务列表,然后给出集成学习算法的示例,最后介绍我的问题。那些不需要所有补充信息的人可能只看标题并直接回答我的问题。


什么是集成学习?

根据维基百科文章

在统计和机器学习中,集成方法使用多种学习算法来获得比单独的任何组成学习算法更好的预测性能。与通常是无限的统计力学中的统计集成不同,机器学习集成仅指替代模型的具体有限集,但通常允许在这些替代模型中存在更灵活的结构。


模式识别任务示例:


集成学习算法示例:

以下用于 PR 任务的集成学习算法(根据 Wiki):

集成学习算法(用于将多种学习算法组合在一起的监督元算法):

  • Boosting(一种机器学习集成元算法,主要用于减少偏差,以及监督学习,以及将弱学习器转换为强学习器的一系列机器学习算法)

  • Bootstrap 聚合(“装袋”)(一种机器学习集成元算法,旨在提高用于统计分类回归)。

  • 集合平均(创建多个模型并将它们组合以产生所需输出的过程,而不是仅创建一个模型。通常,模型集合的性能优于任何单个模型,因为模型的各种错误“平均掉了”。 )

  • 专家混合,专家分层混合


不同的实现

  • 神经网络的集合(一组神经网络模型通过平均单个模型的结果来做出决定)。
  • 随机森林(一种用于分类、回归和其他任务的集成学习方法,通过在训练时构建大量决策树并输出作为个人的类(分类)或平均预测(回归)模式树)。
  • AdaBoost(其他学习算法('弱学习器')的输出组合成一个加权和,代表增强分类器的最终输出)。

此外:

  • 使用一个神经网络组合不同分类器的方法
  • 能力范围法

我的问题

哪种集成学习算法被认为是当今最先进的,并被企业和组织实际用于实践(用于人脸检测、车牌识别、光学字符识别等)?使用集成学习算法应该可以提高识别精度并带来更好的计算效率。但是,现实中的事情是这样的吗?

哪种集成方法可能在模式识别任务中表现出更好的分类精度和性能?也许,有些方法现在已经过时了,或者已经证明是无效的。也有可能由于一些新算法的优势,现在不再使用集成方法。那些在该领域有经验或在该领域有足够知识的人,您能帮忙澄清一下吗?

3个回答

最先进的算法可能与行业生产中使用的算法不同。此外,后者可以投资于微调更基本(通常更可解释)的方法,以使它们比学术界更好地工作。

示例 1:据TechCrunch报道,Nuance 将于今年 9 月开始在其 Dragon 语音识别产品中使用“深度学习技术”。

示例 2:Chiticariu、Laura、Yunyao Li 和 Frederick R. Reiss。“基于规则的信息提取已死!基于规则的信息提取系统万岁!” 在 EMNLP 中,没有。10 月,第 827-832 页。2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=en&as_sdt=0,22http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

在此处输入图像描述

话虽如此:

哪种集成学习算法被认为是当今最先进的

最先进的图像分类系统之一通过集成获得了一些不错的收益(就像我所知的大多数其他系统一样):He、Kaiming、Xiangyu Zhang、Shaoqing Ren 和 Jian Sun。“用于图像识别的深度残差学习。” arXiv 预印本 arXiv:1512.03385 (2015)。https://scholar.google.com/scholar?cluster=17704431389020559554&hl=en&as_sdt=0,22https://arxiv.org/pdf/1512.03385v1.pdf

在此处输入图像描述

我想可以说深度学习在计算机视觉的大多数子领域(分类、检测、超分辨率、边缘检测……)中几乎是最先进的,除了像 SLAM 这样的非常具体的任务深度学习尚未与现有方法相提并论。

通常使用网络平均来获得一些额外的百分比来赢得比赛,但网络变得如此之好以至于不再那么重要了。

在生产中则完全不同。大公司通常依赖于已被证明有效的旧算法,并且专家在使用它们时拥有相关知识和多年实践经验。
此外,在供应链中集成新算法需要大量时间。我认为一些相机公司仍然使用 Viola Jones 检测器进行人脸检测,而且我知道 SIFT 在许多工业应用中被大量使用。

他们还对被认为是危险的黑匣子的深度学习方法持怀疑态度。
但这些算法令人印象深刻的结果正在慢慢地让人们改变主意。

初创企业更愿意使用此类解决方案,因为他们必须有创新的解决方案才能获得资金。

我想说的是,在 20 年内,大多数基于计算机视觉的产品都将使用深度学习,即使在这两者之间发现了更有效的东西。
为了补充 Franck 的答案,深度学习变化如此之快,以至于 Kaiming He 的 ResNets 不再是最先进的密集连接的卷积网络具有 SGD 重新启动的 Wide and Deep 网络现在在EDIT CIFAR 和 SVHN 以及可能 Imagenet 上也是 SOTA 甚至这个随着 9 月 16 日的 ILSVRC 2016 结果,可能会在几天内发生变化。

如果您对 MS-COCO 上更先进的结果感兴趣,现有最具挑战性的检测数据集将于 10 月在 ECCV 上发布。

您的问题涉及很多假设,通常要找到最佳模型需要在数据上测试其中的大部分。仅仅因为理论上的模型可以产生更准确的结果并不意味着它总是会产生误差最小的模型。

话虽这么说……神经网络集成可以非常准确,只要您可以接受黑匣子。节点数量和层数的变化可以覆盖数据中的很多差异,引入这么多建模因素可能很容易过度拟合数据。

随机森林很少能产生最准确的结果,但增强树可以模拟复杂的关系,就像你讨论的 AI 任务中那样,没有太大的过度拟合风险。

有人会想,为什么不将所有这些模型集成在一起,但这个模型会在单个模型的可能优势上做出妥协。同样,这可能会导致一些过度拟合问题。

计算效率高的模型是另一回事,我不会从非常复杂的神经网络开始。使用神经网络作为基准,根据我的经验,使用增强树是最有效的。

这是基于我的经验,以及对所讨论的每种建模类型背后的理论的合理理解。