赖斯定理是否证明安全人工智能是不可判定的?

人工智能 敏捷 证明 人工智能安全 计算理论
2021-11-15 02:17:11

根据维基百科

在可计算性理论中,赖斯定理指出程序的所有重要的语义属性都是不可判定的。语义属性是关于程序行为的属性(例如,程序是否对所有输入都终止),与句法属性不同(例如,程序是否包含 if-then-else 语句)。如果一个属性对于每个可计算函数都不为真,对于每个可计算函数也不为假,则该属性是非平凡的。

句法属性询问有关计算机程序的问题,例如“是否存在 while 循环?

语义属性询问有关计算机程序行为的问题例如,程序是否永远循环(这是停止问题,它是不可判定的,即,一般来说,没有算法可以告诉您任意给定程序对于给定输入是停止还是终止)?

因此,赖斯定理证明了所有非平凡的语义属性都是不可判定的(包括程序是否永远循环)。

AI 是计算机程序(或计算机程序)。与所有计算机程序一样,这些程序可以由图灵机(Church-Turing 论文)建模。

安全(对于图灵机,包括人工智能)是一个重要的语义问题吗?如果是这样,人工智能的安全性是否无法确定?换句话说,我们能否确定一个 AI 程序(或代理)是否安全?

我相信这不需要正式定义安全性。

1个回答
  1. 每个程序都会停止或继续

  2. 给定 N 步,足够的时间和空间 (*),在 N 步内停止是可证明的

3(从 2)。停止总是有证据的:运行程序直到停止;计算步数;验证停止声明(在步骤数内)

  1. (程序是安全的)暗示(程序被证明是安全的)

  2. (安全证明)暗示(公众理解证明)

  3. (程序是安全的)暗示(程序总是(安全地)停止或继续(安全地))[来自 1、6] 和((公众)理解(安全证明))[来自 7]

  4. (公众暂时不理解声称的安全证明)暗示(暂时不要运行程序)[常识]

(*) 这个宇宙是有限的。在这个宇宙中有些数字太大而无法计算

你见过完美的软件吗?

你见过软件出错吗?

为什么要将生死攸关的决定托付给软件?

为什么将政府决策托付给软件?

为什么要信任软件的业务决策?

如果科学家们可能不承认 AI 是智能的,那么如果你在你面前没有认识到 AI 之外的东西怎么办?

(经过足够的怀疑,你所能做的就是信任)