目前,我们使用控制流语句(例如循环)来对人工智能系统进行编程。AI 是否会在无限循环中被杀死(例如,在操作其源代码时由它自己创建)?
这个问题并非毫无根据,它确实质疑现代 AGI 所需的计算基础设施,以及它是否能够在没有任何干预的情况下改变自己。
目前,我们使用控制流语句(例如循环)来对人工智能系统进行编程。AI 是否会在无限循环中被杀死(例如,在操作其源代码时由它自己创建)?
这个问题并非毫无根据,它确实质疑现代 AGI 所需的计算基础设施,以及它是否能够在没有任何干预的情况下改变自己。
这是一个很难回答的问题,因为真正正确的答案将涉及对给定智能的静态分析,以确定它是否具有生成循环状态的计算能力(例如,在下一个实例中复制自身的某个状态),以及事实上是否这些循环状态甚至可以存在于给定的架构中。
一般来说,假设我们可以构建人工智能,那么没有理由不可能构建一个有可能陷入计算循环并变得无法工作的人工智能。您可以想象一个循环神经网络,其中 ANN 内部的连续状态支配其行为,导致它重现具有小变化的状态(因为输入在连接的 ANN 中总是相关的)但在特定状态空间周围收敛。这是否类似于死亡是一个让你自己安心的哲学问题。
但是,如果我们设计了一个通常这样做的 AI 代理,那将反映出糟糕的设计;这并不一定会贬低设计代理的贡献,但会使代理的其他活动受到审查。如果这是某种模拟智能的副产品,那么这个过程真的那么智能吗?