我很难找到关于这个问题的材料(博客、论文),所以我在这里发帖。
举一个最近众所周知的例子:马斯克在推特上警告人工智能的潜在危险,称它“可能比核武器更危险”,指的是创建一个目标与我们的目标不一致的超级智能的问题。这通常通过实验用回形针最大化器来说明。让我们将这第一个问题称为“AI 对齐”。
相比之下,在最近的播客中,他的担忧似乎更多地与让政治家和决策者在这个问题上承认和合作,以避免像人工智能军备竞赛这样的潜在危险情况有关。在由 Nick Bostrom 合着的一篇论文中: 《竞相冲刺:人工智能发展模型》中,作者认为在竞争激烈的情况下开发 AGI 会激励我们忽略安全预防措施,因此这是危险的。让我们将这第二个问题称为“人工智能治理”。
我的问题是关于这两个问题之间的相对重要性:人工智能对齐和人工智能治理。
似乎大多数试图预防此类风险的机构(MIRI、FHI、FLI、OpenAI、DeepMind等)只是陈述了他们的使命,而没有试图争论为什么一种方法应该比另一种更紧迫。
如何评估这两个问题的相对重要性?你能给我指点这方面的文献吗?