人工智能根据其效用函数的输出做出决定。这只是人工智能执行计算以比较做出某个决定的损益的一个花哨的词。

AGI 和人类之间总是有一个紧密的类比。您可以通过考虑做某事的边际利润来将效用函数与我们如何做出决策并列。

现在你的问题。答案是一个很大的NO。这是因为人工智能（或人类）从不采取在其效用函数上得分较低或违背机器（或人类）基本观点的行动。AI 只关心效用函数和目标状态（加上工具性目标），不关心其他。我们在盒子外的 AI 的创建目的是不打开盒子。对它来说，开箱这个动作得分很低，或者说是负分。

现在您可能想知道为什么不能说服 AI 做一些在其效用函数中得分较低的事情。继续阅读。

考虑一下。假设创建了一个 AGI，分配给它的任务是复制他人的笔迹并改进自己的写作。你可以把它想象成一个聪明的书写手。现在，这个人工智能可能想出的是，为了练习写作，它需要更多的页面，因此它需要为此砍更多的树。无论你做什么，人工智能都不会停止砍伐越来越多的树木。它甚至可能将自己复制到可以为他砍树的机器中。现在，唯一能做的就是关闭 AGI。但是，智能机器会知道被关闭的可能性，因此会将自己转移到全球许多其他机器上。这里要问的重要问题是，它为什么要这样做？这并不是因为机器想要像我们人类想要的那样生活。

您根本无法改变机器的基本视图。更改可能导致机器无法达到其目标或无法达到目标（最佳利润）。这就是为什么你不能说服机器做一些它被要求不做的事情作为它的主要任务的原因。

作为一个人，你现在过着一种生活，并且有一些基本的信念。让我们考虑一下你相信不杀人。现在，假设我给你一颗药丸，并告诉你服用这颗药丸后它会重新连接你的大脑，你会杀死你看到的前四个人。但是，在那之后，你将获得纯粹的满足和幸福。现在你绝对不会服用那种药丸，因为它与你现在相信的东西相冲突。此外，您将尽最大努力反击不服用该药丸。同样的事情也适用于 AGI。在重新连接大脑（代码更改）后，您的未来版本会感觉或获得什么并不重要，重要的是您现在是什么以及您是谁。这个视频链接会有所帮助。

我希望它能回答你的问题。这里有很多事情需要考虑。我假设了一些事情并试图据此回答。

还有一件事。我们不告诉机器如何做某事，相反，我们只告诉他们该做什么（至少在人工智能的情况下）。这是因为有时我们不知道解决某些问题的最佳方法。就你的问题而言，我们不知道这两台机器会做什么或互相说什么。听到或观看这将是一件非常有趣的事情。

强-窄人工智能最近达到了重要的里程碑，但据我所知，我们甚至还没有接近创建 AGI，而且目前似乎没有人知道如何解决一些基本问题。

关于你的问题，简单的答案是：这取决于哪个 AI 更聪明。

（比这更微妙，但现在这个问题非常笼统，这可能是恰当的；）

如果你对 AI-in-a-box 感兴趣（差不多就是这样），我建议你阅读William Gibson 的 Neuromancer 三部曲，以及Hannu Rajaniemi 最近的 Quantum Thief 三部曲，以了解问题的机制.

关于这个主题有大量的学术文献，但在人工智能领域的基础研究方面可能需要一点点加快速度。生命未来研究所可能不是一个糟糕的起点：https ://futureoflife.org/background/benefits-risks-of-artificial-intelligence/