这是一个可能的副作用

任何面向目标的代理都可能只是做一些实现其目标的事情，而忽略与这些目标无关的副作用。

如果我的目标包括一个整洁的生活空间，我可能会将我的院子变成一个漂亮、平坦的草坪或人行道，同时消除以前存在的复杂的生命生态系统，因为我并不特别关心这些。

如果一个特别强大的人工智能的目标恰好包括大规模做任何事情，并且不知何故并不特别关心当前复杂的生态系统，那么该生态系统可能会在此过程中被消灭。它不需要或不需要消灭我们。如果我们只是与它的目标无关，那么我们是由材料制成的，并且占据了它可能想要用于其他东西的空间。

我们对大多数目标构成威胁

任何面向目标的代理都可能希望确保他们能够实现目标。任何智能代理都会尝试预测其他代理可能会阻止他们实现这些目标的行为，并采取措施确保他们无论如何都能成功。在许多情况下，消除那些其他代理比确保他们的努力失败更简单。

例如，我的目标可能包括在乡间别墅中存放一袋糖，这样我就可以在参观时制作煎饼，而无需每次都带上所有食材。但是，如果我把它放在那里，它很可能在冬天被老鼠吃掉。我可能会采取各种预防措施来更好地存储它，但是老鼠很聪明也很狡猾，而且很明显它们仍然有很大的机会成功实现自己的目标，所以一个有效的额外预防措施是在老鼠有机会之前杀死它们尝试。

如果某个强大的 AI 的目标是做 X；它可能会理解（一些？）人类实际上可能不想要 X，而是想要 Y。它还可以很容易地推断出其中一些人可能会积极地做一些阻止 X 和/或试图关闭 AI 的事情。做确保目标实现的事情几乎就是目标寻求代理所做的事情；在这种情况下，如果人类的存在对于目标 X 不是绝对必要的，那么消除它们就成为一种可靠的风险降低策略。这不是绝对必要的，它也可能采取各种其他预防措施，但就像我在老鼠的例子中一样，人类聪明而狡猾，显然他们仍然有很大的机会成功实现他们的目标目标（这样 X 不会按照 AI 的意图发生），因此有效的额外预防措施可能会在他们有机会尝试之前将其杀死。

这不一定是胡说八道。这一切都取决于强加的标准。想象以下。假设一个先进的人工智能系统旨在控制当地动植物的稳定性（封闭在某种圆顶中的区域）。它可以控制圆顶下的压力、通过圆顶的光量等 - 确保最佳条件的一切。现在，假设圆顶居住着各种物种，包括人类。值得注意的是，如今已经在使用此类系统的简单实现。

鉴于人类倾向于破坏和滥用自然资源以及污染环境，系统可能会决定降低给定物种（在这种情况下为人类）的种群数量从长远来看可能会使整个生物群系受益。

相同的原则可以在全球范围内应用。然而，这是假设所有物种（包括人类）都受到平等对待，人工智能的最大目标是确保它“照顾”的生物群落的稳定性。现在人们会做这样的事情——我们控制某些物种的种群以保持平衡——狼、鱼等等。

我觉得大多数关于人工智能毁灭世界的场景都属于以下两类之一：

1. 拟人化的人工智能

或者

2. 智能但愚蠢的计算机横行

在第（1）种情况下，人们谈论人工智能变得“邪恶”，并将其他类似的人类因素归咎于他们。我认为这主要是科幻小说，不值得认真讨论。也就是说，我认为没有什么特别的理由可以假设人工智能——不管它有多聪明——一定会像人类一样行事。

(2) 案例对我来说更有意义。例如，人工智能控制核导弹发射井并最终发射导弹，因为它只是在做它的工作，但却错过了人类可能通过我们所谓的“常识”注意到的一些东西。 ”。因此，“聪明但愚蠢”的绰号。

这些都没有让我感到非常震惊，因为（1）可能是虚构的，（2）不涉及人工智能的任何实际恶意意图——这意味着它不会主动试图欺骗我们，或绕过任何安全措施剪纸等

现在，如果有人构建了一个 AI 并决定故意对其进行编程，以便它发展出与人类相似的特征，如傲慢、自负、贪婪等……那么，所有的赌注都没有了。

人工智能已经被用作武器——想想无人机。

我怀疑，“机器人接管世界”场景的概率最高，如果它有一个中间步骤的话。这个中间步骤可能是“人类用机器人接管世界”。

这可能会进入错误的方向。

我怀疑，这并不像看起来那样肯定。考虑一下美国目前有 8000 架无人机。如果它有800万呢？一个能够控制他们的小团体可以接管世界。或者控制舰队不同部分的小团体，可以互相对抗。他们不应该都在美国——届时美国将拥有这支舰队，其他国家也会发展他们的。

顺便说一句，在我看来，接管世界是不现实的——军事领导人也许可以把人类飞行员换成无人机，这不是他们的工作。但是“高层控制”，即决定，做什么，目标是谁，这些决定他们永远不会从他们手中给出。

除此之外，机器人没有长期目标。我们人类有。

因此，我不认为天网式的接管非常现实，但切尔诺贝利式的“错误”错误解释命令导致舰队不可阻挡的横冲直撞，在我看来并非不可能。