光学字符识别中的正确评分规则

机器算法验证 分类 监督学习 计分规则
2022-04-19 08:45:34

Cross Validated 喜欢在“分类”问题中推广正确的评分规则。也就是说,得到准确的概率预测。然后进行分类,考虑到错误分类的成本。这适用于医学诊断等情况,正如弗兰克哈雷尔所说,医生对概率最感兴趣。即使是垃圾邮件检测任务(计算机通过将电子邮件放入离散桶中自动处理)也具有概率校准的作用

然而,我看不到调整概率的作用的一个地方是光学字符识别。我们将打印的文档粘贴到扫描仪中,它将字母的图像转换为字母的文本。据我所知,我们只关心生成的文本有多准确。

  1. 如果我的唯一目标是训练一个准确的分类器,那么寻求真实概率的适当评分规则的作用是什么?

  2. 光学字符识别是否一步完成统计和决策?

  3. 如果我只是要根据模型将最高类别概率分配给正确角色的能力来评估模型,为什么还要使用正确的评分规则作为损失函数?

1个回答

首先,我不会说“喜欢推广正确的评分规则”是CrossValidated 。它更多的是一些非常吵闹的用户现在的公司也不例外。

我同意评分规则在光学字符识别 (OCR) 中的作用比在许多其他领域(如医学诊断)中的作用要小得多。IMO 的原因是 OCR 中的信噪比要高得多毕竟,我们教五岁的孩子阅读。没有人有意识地混淆我们的分类器。我们宁愿确保以标准化的方式显示信号(地址几乎总是在信封上的相同位置,页面通常是纵向等),并且激励措施与使分类器的生活更轻松一致。最后,目标类的数量非常少:26 个字母,10 个数字。

相比之下,垃圾邮件发送者有混淆分类器的动机。在医学诊断中,真正的疾病潜伏在一个高度复杂的人形黑匣子深处。因此,除了最微不足道的用例(普通感冒,我们通常可以自己诊断而不去看医生)之外的任何事情都由训练有素的专业人员(肉类或硅胶版)解释。除了玩具示例之外,图像识别具有无限数量的可能类别来将图像分类到其中。

在像西方文字 OCR 这样的高信噪比情况下,大多数实例会被概率性地归为一个概率非常高的类别,而这种分类通常是正确的。训练分类器以更好地概率区分小写g9并不是很有趣,因为根据上下文通常很容易做到这一点。

所以我想说,在低信噪比的情况下,强调正确的评分规则更为重要。相反,我有时的印象是,依赖准确性的人已经在高信噪比情况下(如 OCR)学习了分类,并且当这个比率在新情况下发生变化时,他们的工具集可能会遇到困难。