不，有一个但是。如果系统具有完整的道德体系，我们可以创造性地解决道德问题，否则默认情况下创造力将是不安全的。

人们可以将 AI 决策方法分为两类：插值思维者和外推思维者。

插值思维者学会分类和模仿他们正在学习的任何东西，并且不会试图在他们的训练领域之外给出合理的结果。您可以将它们视为在训练示例之间进行插值，并从所有数学保证和附带条件中受益，就像其他统计技术一样。

外推思想家学会操纵基本原则，这使他们能够以以前未考虑的方式结合这些原则。这里与直觉相关的领域是数值优化，其中最简单和最著名的例子是线性规划，而不是催生机器学习的统计领域。您可以将它们视为超出训练示例的推断（实际上，其中许多甚至不需要训练示例，或者使用这些示例来推断基本原理）。

外推思想家的承诺是，他们可以比人们更快地提出这些“横向”解决方案。这些外推思想家的问题在于，他们只使用口头原则，而不使用任何似乎太明显而无法提及的未说出口的原则。

优化问题的解决方案的一个属性是特征向量在某些方面通常是“极端的”。在线性规划中，可行解空间中至少有一个顶点是最优的，因此简单的解法会找到一个最优顶点（这在本质上是一个顶点几乎是不可行的）。

再举一个例子，将航天器从一个位置移动到另一个位置的最小燃料解决方案称为“砰砰”，在这种方法中，您可以在轨迹的起点和终点尽可能快地加速飞行器，并在其间以最大速度滑行.

虽然正确理解系统是一种美德（在许多情况下，bang-bang是最佳选择），但当系统被错误理解时，这将是灾难性的。我最喜欢的例子是Dantzig 的饮食问题（讨论从 pdf 的第 5 页开始），他试图用数学来优化他的饮食。在他的第一个约束条件下，他应该每天喝 500 加仑醋。在他的第二个，200个肉汤块下。他的第三个，两磅麸皮。产生这些明显坏主意的考虑因素并没有被纳入系统，因此系统会无辜地建议它们。

如果你可以将一个人用来判断这些计划的知识和价值观完全编码到人工智能中，那么外推系统就和那个人一样安全。他们将能够考虑并拒绝错误的极端计划，并为您留下正确的极端计划。

但如果你不能，那么不建立一个外推决策者，而是建立一个内插决策者是有意义的。也就是说，与其问自己“我如何才能最好地完成目标 X？” 它在问自己“在这种情况下一个人会做什么？”。后者在完成目标 X 方面可能要差得多，但它牺牲其他目标来完成 X 的尾部风险要小得多。

伦理涉及两方或多方之间的需求关系。正如 Matthew Graves 所说，如果人工智能缺乏足够的人类背景（对需求的理解），它将产生看似不正当的道德行为。

老实说，有些人会切断其他人的手臂并将它们放在压力板上。即使是我们当中最优秀的人，也无法以 100% 的准确率同情他人的需求——充其量，我们只是在猜测。还有一些罕见的情况，我真的希望你砍掉我的手臂，把它放在压力板上，也许是为了救一个亲人。

如果我们可以制造出一种可以同情人类在任何给定任意情况下可能需要的东西，那么我们将创造出 A)人工智能(AHI)（它可能或多或少会出错，就像人类一样），或 B) 一个预言机，它可以比人类的时间尺度更快地推理出所有可能的人类需求——在这种情况下，你不需要有意识的人工智能，因为所有人类需求和解决方案都可以通过正式规范预先计算，这考虑可能是荒谬的。

您也可以将编程视为设计的道德部分。人工智能将根据指示它在道德上是否重要而采取行动。它甚至可能/应该是形成寻找解决方案过程的参数的一部分，这可以允许更精细和创造性的解决方案。

我们了解正常情况下的道德基础，但如果我们无法预测任何人在道德难题中的行为方式，我们就可以强制执行人工智能不会做的事情。

只要我们能够控制驱动人工智能的机制，我们肯定有责任注入道德故障保险。问题在于具有超越指令能力的自学人工智能。（CF 阿西莫夫定律。）

在这种情况下，人工智能的创造性方式似乎无关紧要。

这在很大程度上取决于考虑的广度。例如，横向思维的中长期影响是什么？机器人可以切断压力板的手臂，但这意味着该人不再有手臂，充其量是一种功能限制，该人可能会流血并死亡/受到严重限制，并且该人（以及在一般）将不再合作，并可能寻求消灭机器人。人们可以横向思考，因为考虑到这些事情——道德实际上只不过是一套包含这些考虑的指导方针。机器人也可以，如果它被设计为考虑这些外部性。

如果一切都失败了，

阿西莫夫的机器人定律：（0. 机器人不得伤害人类，或因不作为而使人类受到伤害。） 1. 机器人不得伤害人类，或因不作为而使人类受到伤害。伤害。2. 机器人必须服从人类的命令，除非这些命令与第一定律相冲突。3. 机器人必须保护自己的存在，只要这种保护不违反第一或第二定律