在传送门 2中,我们看到通过思考一个悖论可以“杀死”人工智能。
我认为这是通过迫使人工智能进入一个无限循环来实现的,这基本上会“冻结”计算机的意识。
问题:
- 这会混淆我们今天拥有的人工智能技术到摧毁它的地步吗?
- 如果是这样,为什么?
- 如果没有,将来有可能吗?
在传送门 2中,我们看到通过思考一个悖论可以“杀死”人工智能。
我认为这是通过迫使人工智能进入一个无限循环来实现的,这基本上会“冻结”计算机的意识。
问题:
这个经典问题展示了对通用人工智能可能需要什么的基本误解。首先,考虑一下这个程序员的笑话:
程序员的老婆受不了了。与丈夫的每一次讨论都变成了语义上的争论,每一个琐碎的细节都被挑出来。一天,她派他去杂货店买些鸡蛋。在他出门的路上,她说:“趁你在的时候,去拿牛奶。”
而他再也没有回来。
这是一个可爱的文字游戏,但它并不是非常现实。
你假设因为人工智能是由计算机执行的,所以它必须表现出这个笑话中概述的同样水平的线性、坚定不移的学究气。但人工智能不仅仅是一些冗长的计算机程序,它用足够的 if 语句和 while 循环硬编码来解释每一个可能的输入并遵循规定的结果。
while(命令未完成) 找到解决方案()
这不会是强大的人工智能。
在人工通用智能的任何经典定义中,您都在创建一个模仿某种形式的认知的系统,该系统展示了解决问题和自适应学习的能力(←请在此处注意此短语)。我建议任何可能陷入这种“无限循环”的人工智能根本不是学习型人工智能。这只是一个有缺陷的推理引擎。
本质上,你赋予了一个目前无法达到的复杂程度的程序,使其无法假设是否有一个简单问题的解决方案。我可以很容易地说“穿过那扇关闭的门”或“把自己从地上抬起来”甚至“打开那支铅笔”——并提出一个类似的难题。
“我说的都是假的。” ——骗子悖论
这个流行的表情包起源于“老式人工智能”(GOFAI)时代,当时人们认为智能可以完全用逻辑来有效地定义。
meme 似乎依赖于使用定理证明器的 AI 解析命令,这个想法可能是通过试图证明一个无法证明或不一致的陈述而陷入某种无限循环。
如今,GOFAI 方法已被“环境和感知序列”所取代,这些方法通常不会以这种不灵活的方式进行表征。机器人不需要大量复杂的元认知就可以观察到,一段时间后,它的思考会妨碍有用的工作。
Rodney Brooks 在谈到斯皮尔伯格的 AI 电影(耐心地等待了 5000 年)中机器人的行为时谈到了这一点,他说“我的机器人不会那样做——他们会感到无聊”。
如果你真的想杀死一个在感知方面运作的人工智能,你需要更加努力地工作。这篇论文(在这个问题中提到过)讨论了在这种情况下死亡/自杀的概念可能意味着什么。
Douglas Hofstadter 围绕这个主题写了很多文章,使用了诸如“JOOTSing”(“跳出系统”)和“anti-Sphexishness”之类的术语,后者指的是Sphex Wasp的类似循环自动机的行为(尽管这种行为的现实性也受到质疑)。
我看到了几个很好的答案,但大多数人都认为推理无限循环已成为过去,只与逻辑 AI(著名的 GOFAI)有关。但事实并非如此。
任何程序都可能发生无限循环,无论它是否自适应。正如@SQLServerSteve 指出的那样,人类也可能陷入痴迷和悖论中。
现代方法主要使用概率方法。当他们使用浮点数时,在人们看来他们不容易受到推理失败的影响(因为大多数都是以二进制形式设计的),但这是错误的:只要你在推理,总能找到一些内在的陷阱是由通过你的推理系统的机制。当然,概率方法不像单调逻辑方法那样脆弱,但它们仍然是脆弱的。如果有一个没有任何悖论的单一推理系统,那么现在大部分哲学都会消失。
例如,众所周知,贝叶斯图必须是非循环的,因为循环会使传播算法严重失败。Loopy Belief Propagation 等推理算法在这些情况下可能仍然有效,但根本无法保证结果,并且可能会给出非常奇怪的结论。
另一方面,现代逻辑 AI 通过设计新的逻辑范式(例如非单调逻辑)克服了您将看到的最常见的逻辑悖论。事实上,它们甚至被用来研究伦理机器,它们是能够自行解决困境的自主代理。当然,他们也有一些悖论,但这些退化的案例要复杂得多。
最后一点是,推理无限循环可以发生在任何推理系统中,无论使用什么技术。但是“悖论”,或者更确切地说是技术上称为退化的情况,可以触发这些无限循环对于每个系统来说将是不同的,这取决于技术和实现(以及机器在自适应时学到了什么)。
OP 的示例可能仅适用于旧的逻辑系统,例如命题逻辑。但是问这个贝叶斯网络,你也会得到一个推理的无限循环:
- There are two kinds of ice creams: vanilla or chocolate.
- There's more chances (0.7) I take vanilla ice cream if you take chocolate.
- There's more chances (0.7) you take vanilla ice cream if I take chocolate.
- What is the probability that you (the machine) take a vanilla ice cream?
等到宇宙尽头才能得到答案……
免责声明:我写了一篇关于道德机器和困境的文章(这与悖论很接近但并不完全相同:困境是没有解决方案在客观上比任何其他解决方案更好但您仍然可以选择的问题,而悖论是无法解决的问题对于您使用的推理系统)。
/编辑:如何修复推理无限循环。
以下是一些根本不确定是否有效的极端命题!
正如你所看到的,推理循环这个问题仍然是人工智能研究中的热门话题,可能永远不会有完美的解决方案(没有免费的午餐,没有灵丹妙药,没有一刀切),但它正在进步,这非常令人兴奋!
停止问题表示无法确定任何给定算法是否会停止。因此,虽然可以想象一台机器可以识别一些“陷阱”,但它无法测试任意执行计划并返回EWOULDHANG
非暂停执行计划。
避免挂起的最简单解决方案是超时。例如,AI 控制器进程可以将任务拆分为子进程,这些子进程可能会在一段时间后被毫不客气地终止(没有尝试中止线程所产生的奇怪效果)。有些任务需要比其他任务更多的时间,因此最好让 AI 能够衡量它是否取得了任何进展。长时间旋转而没有完成任务的任何部分(例如,消除列表中的一种可能性)表明该请求可能无法解决。
成功的对抗性悖论会导致挂起或状态损坏,这会(在 .NET CLR 等托管环境中)导致异常,从而导致堆栈展开到异常处理程序。
如果 AI 中存在错误,导致重要进程因错误输入而被卡住,一个简单的解决方法是设置某种看门狗,以固定时间间隔重新启动主进程。Root Access 聊天机器人使用该方案。