专家有害吗?

机器算法验证 游戏 人工智能
2022-01-18 10:48:14

我正在阅读“国际象棋在人工智能研究中的作用”pdf),有趣的是,它说:

经验 [...] 表明,国际象棋专家的意见虽然通常有用,但不能完全信任。

Deep Thought 的评估函数就是一个很好的例子。有能力的人类国际象棋专家进行的几次更改未能产生重大改进,有时甚至会对机器的性能产生负面影响。

在这里,人类专家连同他们的专业知识,将他们自己的偏见引入了程序。解决此问题的一种方法是限制程序中允许的专家输入的类型和数量;在其他拥有几乎“无知识”的机器。

  • 这在现代研究和实践中有多真实?
  • 这是一个大问题,还是只是国际象棋游戏特有的问题?
4个回答

我认为这更多的是关于工程问题解决。大多数成功的工程项目并没有完全复制专家推理或专家的性质。他们以不同的方式解决了这个问题。

例如,洗衣机使用与人类不同的技术,飞机使用与鸟类不同的动力。

如果您正在复制专家推理,那么他们的输入就是一切但是,如果您使用不同的技术(快速搜索、巨大的内存......)解决相同的问题,他们的输入只会有帮助

这些问题在需要判断的各个领域都很常见。

Makridakis、Wheelwright 和 Hyndman预测:方法和应用中关于“判断预测和调整”一章有类似的专家判断表现不佳的故事,有时甚至是非常简单的系统。

有一篇论文 (Dawes et al (1989) "Clinical vs Actuarial Judgement" Science , Vol 243, No 4899, p1668-74) 关于医学领域专家判断与所谓的“精算”方法的失败——基本上相当简单统计模型。

另一方面,精算文献中有一篇关于专家判断在该领域的特定问题中的“嘈杂”和不一致的论文,在领域,专家判断通常被其从业者视为最重要的。

Makridakis 等人讨论了许多领域的专家判断失败,因为它们与预测有关,并包含相当多的宝贵建议。

依此类推。认知偏见比比皆是,人类专家和其他人一样深受其害。

专家是否有害的问题当然不限于国际象棋游戏。

文献中关于货币政策委员会 (MPC) 优化设计的一个有趣问题是,委员会是否应包括非中央银行全职雇员的外部专家。

从这个角度来看,首先考虑英格兰银行的货币政策委员会。它由五名银行内部执行人员和四名外部专家组成。另一方面,联邦储备银行雇佣了一个完全由银行雇员组成的委员会。

外部专家成员包括在英格兰银行的 MPC 中,因为他们被认为可以为英格兰银行内部获得的专业知识和额外信息带来。

那么,哪种 MPC 设计更好呢?专家进,还是专家出?

嗯,这个研究领域仍然很活跃,Hansen & McMahon (2010)最近对其进行了调查。我建议查阅本文中提到的参考资料,以进一步阅读“专家委员会”这一问题。

这是一个大(重要)问题吗?考虑到 MPC 的决定可能对经济产生的影响,我会说这是一个非常重要的问题!

最后,我应该提到,理论上,货币政策决策可以委托给计算机。例如,可以对计算机进行编程以执行简单的货币政策规则例如,承诺之一。这将在货币政策规则被编程到计算机中之后删除专家输入。Svensson (1999)提到了计算机在货币政策中的使用

参考:Stephen Eliot Hansen 和 Michael McMahon,2010。“外部专家给委员会带来了什么?来自英格兰银行的证据”,经济学工作论文 1238,庞培法布拉大学经济与商业系。

Lars EO Svensson,1999 年。“在价格稳定的时代应该如何实施货币政策?”,堪萨斯城联邦储备银行会议记录,第 195-259 页。

我认为关键是一致性。专家不仅拥有特定的知识,而且还拥有一套知识在其中运作的系统。他们有一个角色,一个整体战略,他们的策略在其中存在和发展。

从某种意义上说,下国际象棋的计算机程序是由各种主体(程序员、专家等)混搭而成的科学怪人。因此,任何一位专家的建议都不适合现有的系统也就不足为奇了。

我同意其他评论,专家可能不知道他们是如何做的。在这种情况下,作为人类,他们的有意识的头脑会编造一个合理的故事,说明他们为什么会做出一个特定的决定。但我仍然认为,给编程团队的专家建议总是脱离上下文(即与程序设计和历史的上下文不一致)。

编辑:这里也可能存在强化偏差。我找不到任何好的链接来解释强化偏差,但我理解这个术语的方式是当你使用模型的先前结果(通常是间接地)作为目标更新(改装)监督模型时得到的效果。它类似于确认偏差,但它涉及一定程度的间接性。人类专家会有他们的强化偏见,这可能会影响事情。