我们是否应该更多地关注人工智能风险的社会或技术问题

人工智能 敏捷 社会的 新卢德主义 价值对齐 风险管理
2021-10-18 23:04:59

我很难找到关于这个问题的材料(博客、论文),所以我在这里发帖。

举一个最近众所周知的例子:马斯克在推特上警告人工智能的潜在危险,称它“可能比核武器更危险”,指的是创建一个目标与我们的目标不一致的超级智能的问题。这通常通过实验用回形针最大化器来说明。让我们将这第一个问题称为“AI 对齐”。

相比之下,在最近的播客中,他的担忧似乎更多地与让政治家和决策者在这个问题上承认和合作,以避免像人工智能军备竞赛这样的潜在危险情况有关。在由 Nick Bostrom 合着的一篇论文中: 《竞相冲刺:人工智能发展模型》中,作者认为在竞争激烈的情况下开发 AGI 会激励我们忽略安全预防措施,因此这是危险的。让我们将这第二个问题称为“人工智能治理”。

我的问题是关于这两个问题之间的相对重要性:人工智能对齐和人工智能治理。

似乎大多数试图预防此类风险的机构(MIRIFHIFLIOpenAIDeepMind等)只是陈述了他们的使命,而没有试图争论为什么一种方法应该比另一种更紧迫。

如何评估这两个问题的相对重要性?你能给我指点这方面的文献吗?

1个回答

AI 对齐和 AI 治理都不重要。我们与 AGI 相距甚远,甚至不知道缺少什么。

我们没有为星际旅行设置安全说明,那我们为什么要为 AGI 做呢?我也可以想出很多这样的危险......

不过,人工智能确实存在危险。包括社会问题

  1. 盲目信任:信任机器,尽管它并不完美。仅仅因为它在大多数情况下都很好并且似乎是理性/客观的。示例:机器偏差
  2. 失业:人工智能有可能用极少数超高技能工作取代大量低技能工作。例如,自动驾驶汽车(我猜一家制造商的人数少于 100 人)可以取代交通运输业的所有工作(德国 31,373,700 人中有 1,076,200 人(来源)——即 3.4%!)。参见CG 灰色视频
  3. 武器系统:致命的自主武器是真实的。存在高效屠宰机器人的危险和出错的危险——类似于Wech Baghtu 婚礼派对空袭那次

还有一些其他问题,但我认为它们不那么严重:

  • 更好的假货:lyrebird.ai提供了一个很好的演示
  • 垃圾邮件:我认为改进垃圾邮件过滤器更容易,但人类可能更难
  • 数据占主导地位:像亚马逊这样的公司将在市场上占据主导地位,因为它们是第一个获取重要客户信息的公司
  • 泡沫/错误的希望:人工智能(或者说机器学习)通常被视为一把金锤。它不是。