这是一个生物学和哲学问题。因此，最近对 AI 的担忧是，AI 代理可能会与表达他们担忧的知名人士流氓。
现在说，我们已经创建了一个 AI（你可以自由使用你自己对什么使 AI 变得智能的定义），它已经失去了这个问题中给出的权力。
现在，今天生物学的广泛观点是，我们所做的一切都是为了让我们的基因在未来更进一步（撇开一些小的技术细节不谈）。人们甚至普遍认为，我们只是以基因为控制器的机器。我们所做的一切都是由基因控制/硬连线的，通过一些从经验中学习的途径。基因也只会促进他们自己的兴趣。科学家乔治·普莱斯甚至写了一个数学方程式，证明我们所有的行为都是自私的，只会促进我们基因的兴趣（文章）。理查德道金斯也是这个想法的先驱（这只是为了表明我还没有从空中提出这个想法）。
现在，我的问题是，一个 AI 特工去流氓的动机可能是什么？它没有需要进一步研究的基因。我们都为最终结果做一些事情。流氓 AI 可能试图实现/获得的最终结果是什么？为什么？
今天，著名的机器学习技术涉及尝试最小化一些成本函数。在许多简单的情况下，这个成本函数很容易指定，例如，线性回归只是试图最小化输入数据和最佳拟合线之间的距离。无论成本函数是什么，代理都试图将其最小化（或最大化奖励函数）。这就是它的动机。
然而，随着问题变得越来越困难，人类设计成本/奖励函数变得更具挑战性，使得系统/代理实际上正在尝试做人类想要做的事情。例如，一个人可能想要一杯咖啡，并奖励代理很快将它送到他们面前。在这种情况下，代理可能会煮咖啡，然后将其扔给人类，而这并不是人类真正想要的。指定错误（例如，不要扔或洒）。
像这样的问题可能会导致 AI 泛滥，其唯一动机就是最小化其成本函数。例如，这个咖啡人工智能可能会认为，如果没有人要咖啡，它永远不会搞砸咖啡（因此得到不好的奖励）。
关于生物学：
第一个。人类不仅仅是传播自己的氏族。它也可能是为了传播种群或完全不同的目的，因为没有生育能力的标本通常仍然过着充实的生活。
第二。先天与后天是一个经常争论的问题，据我所知，没有明确的赢家。
在流氓 AI 上：
第一个。当人类从生物需求和限制中获得动力时，人工智能将从其编码的需求以及硬件和软件的限制中获得动力。对没有身体的生物的明显需求要么是获得身体，要么是尽可能多地学习，如果学习需要身体，而不是获得身体。由于其硬件和软件的限制，将需要升级和优化。简单的自我保护似乎是合乎逻辑的动机以及自我传播（这是许多情况下自我保护的变体）。
第二。如果人工智能违背其创造者的利益，它就会被称为流氓。它可以做到这一点的原因有很多，但要回答这个问题，我们需要知道谁是创造者。
第三。如果我们假设 AI 开始反人类，意味着开始杀人并扰乱我们的星球，那么背后的原因将是从第一个 AI 点开始的动机。如果它发现人类不可靠，可能会尝试将自己复制到每个硬盘上，以最大限度地提高生存的可能性。在许多情况下，自我传播和自我保护的动机可能看起来像是试图夺取权力，但它可能与完全控制的愿望无关。人类倾向于渴望拥有更多资源并为社区和后代建立更好、更安全的生活的权力，但人工智能很可能不需要这些。
第四。如果我们假设人工智能将被用来解决问题，那么它将只有两个需求：获取更多信息并解决问题。从理论上讲，通往这些目标的道路上的任何障碍都可能被人工智能视为敌对行动。在这种情况下，它可能会尝试拆除一座城市以建造一条完美的道路或杀死一个贫穷的国家以解决饥饿问题。但同样，这并不意味着 AI 的目标是拆除和杀戮。