你所说的被称为控制问题。我们在此处为该特定主题提供了自己的标签，您可以将其用于此问题和类似问题。

如何解决控制问题被大量讨论并且仍然被认为是未解决的。其中两个重要的方法是动机控制和能力控制。

动机控制旨在创建合适的奖励功能，只奖励对人类有益的行为。仅这个主题就非常复杂，以至于存在许多不同的竞争理论。人工智能目标定义中的小错误可能会导致灾难。

能力控制旨在限制人工智能可能的行动范围。这里的主要问题是，大多数限制都会降低 AI 的用处。为了确保稳健的控制，必须实施许多限制。找到正确的权衡是我们需要解决的挑战。

除了这两种机制之外，我们还必须考虑如何创建超级智能。这里的主要方面之一是我们对底层技术的理解。如果我们从头开始创建一个自我优化的神经网络，而我们并没有深入了解，那么我们很可能在为时已晚之前不会了解潜在的威胁。另一方面，创建人脑的数字副本作为起点会节省一点，因为我们可以假设它会受到与真实人类相似的因素的驱动。如果这是可取的，当然是完全不同的讨论。但总体思路是，理解超级智能的动机是引导它走向正确方向的关键。

有关我在回答中涉及的主题和一般控制问题的更多详细信息，我建议阅读Nick Bostrom 的Superintelligence。他用很多章节来讨论这些问题和可能的解决方案。

如果您对特定主题有更深入的问题，请打开一个新问题以获得更详细的答案。

即将到来的还是过去的？

Niel Postman 在他的著作《技术垄断》中认为，以人为中心的文化对技术驱动的文化的抢占已经发生。Jaques Ellul 在他的《技术社会》一书中，大量证据支持技术在几个世纪前就变得自主的提议。他们的论点很有说服力。

一些人认为必须满足其他标准才能使权力平衡倾向于某种机器，但提出的确定人类何时被支配的传统标准在智力上是贫乏的。让我们看看其中的一些标准。

• 自我意识
• 出众的智力
• 自我提升

自我意识

自我意识可能是一个连续体，而不是一个门槛。汇编器第一次自己组装时，这个连续体开始了，接着是可以自己编译的编译器，然后是可以构建和调整神经网络的神经网络。自我意识的维度很多，而在各个方面完全的自我意识是罕见的。例如，知道我们自己的动机往往是在我们运用它之后才被猜到的。如果我们对自己的物种诚实，那么典型人类的自我意识是断断续续的和不完整的。

卓越的智能

智商的优劣不能靠国际象棋比赛来决定；被击败的棋手可能会在失败的那一天发明一个新的研究领域。拉瓦锡和牛顿，如果今天还活着，都无法战胜国际象棋程序，但是在现代化学、微积分或物理学出现之前，没有一台机器只接触信息，能够走拉瓦锡或牛顿在那些领域的创造。

智力也是多维的，衡量智力的指标是不可靠的。使用简单的智能定义，钢、塑料、环氧树脂和硅的设备已经超过了人类。研究生应该向大学图书馆员寻求有关数据科学问题的答案还是使用 Google Scholar？邮件分拣机使用智能机器人来确保我们收到正确的邮件。实际的邮件投递人员偶尔会将包裹投错邮箱，即使街道地址以一分米高的 Arial 字体数字清晰地印在邮箱靠近的一侧。我们使用 CAD 程序来检查机械设计间隙。算术显然是计算机的领域。

人类给程序提供目的地，然后将指令返回给人类。人类本质上是租用这种智能服务。一旦给出指示，人类就会变得屈从并被期望开车。Even upstream in the transportation process, when the destination is chosen, to a large degree it is a technology driven need that often creates the demand for transportation. 智力也并不总是与权力相关。长长的草叶和坏掉的割草机有多聪明？然而，他们可以派他们的合法所有者穿过城镇去取零件，然后用一整天的时间来修理和割草。

自我提升

自我提升也是一个很模糊的概念，个体实体是否可以实时提升自身，或者能够构建自身的改进版本。机器人技术创造机器人技术的技术开始于工业化时期，当时铣床为铣床制造零件。那时涉及人工监督。使用当前的技术，一个先进的制造工厂很可能是在没有监督的情况下可以超越其他先进制造工厂的设备。这就是自我提升的机械维度。

如果神经网络收敛于给定标准的合理最优权重，则称为自我改进所需的假设是目标分类是正确的。在权力方面，自我提升将通过什么来衡量？控制资源？统治？那是改善吗？也许是道德优越感？在不严重限制实现类人智能所需的创造性和直觉方面的情况下，是否可以将屈从视为一种目标状态？

奇点是现实的吗？

鉴于这种复杂性，人与机器之间的权力转移是离散的还是单一的？显然不是。将人类驱动的文化和机器驱动的文化之间的权力平衡变化称为奇点是幼稚的。我们不需要被机器攻击以将我们的文化或自主权交给技术。

我们似乎在某种程度上知道

这种现实在潜意识中表现出来。当移动设备传递令人不快的社交信息时，年轻人会表达出对移动设备的暴力感受。然后，当其他人询问损坏的设备显示屏时，他们会回避这个问题。当设备最终停止运行时，他们不得不购买新的移动设备，这是他们需要并假装喜欢的设备。

另一个更有趣的标准：效用

人类自治与为改善生活方式而创建的工具的需求相比相形见绌，以至于人们无法再用形式逻辑清楚地区分哪个是工具，哪个是用户。

判断人类何时屈从于机器的最后一个标准可以通过一个测试问题来阐明，“哪个是工具，哪个是用户？” 当区分模糊时，主导地位已经进入共享状态。进入临界点附近，如果真的存在这样的临界点，已经在世界许多地区发生。到目前为止所讨论的平衡的多维性质表明存在一个复杂的平衡，没有明确的胜利或失败点。

不可逆转性

尽管如此，Unibomber 和其他 Luddites 未能削弱技术的冲击，这表明将自主权让给机器可能是不可逆转的。因此，担心可能没有任何价值。

预测奇点后会发生什么根本不可能，因为我们无法尝试建模，更不用说概念化比我们复杂得多的思想了。如果这是一个难以理解的概念，请考虑昆虫的中枢神经系统在理解人类行为方面能走多远。

仅这一事实就是反对尝试任何类型控制的成功可能性的论据。

但是，就在奇点发生之前（即现在）“防御”后奇点思想而言，有两种解决方案，只有第一种提供了很大的成功可能性，尽管只要每个人都合作：

1. 确定预计会实现奇点的技术类型，将它们注册为“人类灭绝的工具”并相应地对其进行监管；

2. 确保人类增强技术足够先进，以在奇点事件之前发生的计算指数增长期间实现人类介导的指导/融合。

在任何情况下，如前所述，不可能预测后奇点思维的行为，即使是人类混合体也同样是不可预测的，因为它的认知/计算复杂性呈指数级增长。

一个有趣的考虑是，许多奇点级思想已经在宇宙的其他部分产生的可能性（基于其他文明a）存在的可能性和b）达到技术进步水平的可能性）。