非人类伦理可以是完全任意的

关于你的引文，也许考虑一下为什么哲学家所说的关于人类伦理的任何东西都适用于任意的非人类系统是有用的？我们都有共同的生物学背景，我们的行为、情绪，尤其是积极/消极的感受，都来自于我们大脑的特定构建方式。人本质上是一种社会动物，我们的许多行为和情感的同理心、同情心、公平、贪婪、社会地位等都是在社会中形成和表达的。我们的思想为此进行了调整，其他哺乳动物的思想也是如此。一个在加入公民社会时形成道德体系的人是在所有这些共享背景的基础上并在其限制范围内这样做的。

然而，这一切都与智能无关。在所有可能的智能及其目标的整个空间中，人类的所有多样性都包含一个小岛。任何道德体系都是可行的，其中绝大多数与我们认为道德的东西没有任何关系。可以期望人类加入一个社会并学习道德，因为我们的大脑天生就可以对社会刺激做出反应——只有当它以前的道德已经碰巧高度重视这一点时，人工智能才会从社会中学习道德，而这不太可能在没有精心设计的情况下发生。

有一个通常用作示例的思想实验-“回形针最大化器”，这是一种具有道德系统的人工代理，该系统根据宇宙中存在的回形针的数量来定义“好”，并且仅此而已-那是完全合理的例子，因为完全随机的道德体系极有可能沦为那样愚蠢的东西。与所有可能的道德系统相比，“合理的”（对我们而言）道德系统的空间非常小，并且期望随机选择的道德系统恰好落在那里，就像依靠赢得高风险彩票一样。

我们希望他们的道德规范包含某些内容

所以我们研究 AGI 伦理的主要原因是因为我们（或我们中的一些人）真的，真的，希望 AGI 伦理系统包括某些东西。例如，我希望这个道德体系包括我的生存。我更希望道德体系与我的幸福和幸福相一致——而一个非常强大的实体的存在恰好根本不关心我，这与我的生存和幸福不相容，所以我真的更喜欢因为它关心我，或者永远不会变得非常强大。

人们当然可以争辩说，我们无权为另一个可能比我们更聪明、更好的社会制定伦理、规则和士气。另一个社会可能以某种方式“更好”——但对谁更好？如果这对“他们”更好，但对我（和人类）更糟，那么我有强烈的动力去简单地主张这一权利，并尽我所能确保这个假设的未来社会包括我、我的欲望和我的道德。