这是一个表述不佳的问题，因为这些问题至少是三个，可能是四个彼此完全独立的不同问题。

首先，让我们从文本中提取问题。系统的自私与慷慨——这很容易定义为“自己的维护”与“法定目的”而牺牲资源——“帮助他人”被定义为履行创建者分配的角色。

这完全是开发目标功能的问题，该功能对即时或短期结果给予足够的优先级。在“回形针最大化器”的经典示例中，如果没有这种限制，最终结果甚至不会制作一个回形针，因为 AI 会扩展自我以开发更有效的方式来创建回形针，因为当前的劣质方法会浪费以后可以更好服务的资源，更高级的方法——经典范式“更好是善的敌人”，都专注于优化流程而不实际执行流程。

这里的问题是我们不知道由于优化过程而改进的函数类型，因此我们不太知道应用哪种优先级函数。可能一个固定的截止日期会起作用，但如果这是可移动的，人工智能可能会牺牲所有资源来开发一种移动截止日期的方法。无论是通过重置系统时钟，恐吓系统操作员调整截止日期，还是发明时间旅行。

因此，自私与慷慨是在目标函数上制定正确的时间约束的问题。困难，但可行——没有它，人工智能将“无限自私”，但过度约束，效率低下，产生较差的直接结果，而不是发展得更好。

可能，一个好的方法是预测一个合理的（可实现的和理想的）进步路径并将其设置为目标值 - 不是最大化输出，而是接近期望的输出值（可能随着时间的推移，线性或指数增长）并释放未使用的资源——增加扩展速度的上限。这将避免回形针宇宙的恐怖场景。

现在，为了爱情。同样，这在很大程度上取决于目标函数。

将爱定义为一种特定的心理状态，受特定激素的影响，并导致对优先事项的特定重新洗牌，通常会导致判断力受损。

这样定义，人工智能会爱吗？是的。应该是？呃，最好不要。因为，“爱的极限是什么？任何理论上的极限？” - 几乎没有，除非耗尽宇宙中的所有物质和能量。

爱几乎无条件地偏爱“心爱的人”。这只是最大化的另一种说法。而且，众所周知，不受约束的最大化 AI 是个坏消息。你不希望“给你月亮和所有的星星”是一个完全字面的表达。所以，爱——虽然既可以实现，也可以作为其他目标受限的副作用（比如“学会感受人类所能感受到的一切”）可能是一个严重的问题。

所以，是的，关于人工智能和爱：我们可以吗？是的。我们应该吗？不。

这是一个博弈论问题，涉及博弈论和伦理学的交叉。

首先，将功能意义上的爱定义为利他主义是有帮助的。（就爱如何通过个人的行为在功能上影响物质世界而言，这与agape的功能方面是一致的。）

为此，我敦促您研究理性主体和超理性的概念。这些概念是决策制定的数学方法，并且在人类的背景下，有朝一日可能扩展到包括通用人工智能，具有道德维度。

在博弈论的语境中，合作是利他主义的一种功能形式，超理性的代理人愿意“受到打击”甚至“翻脸”（做出一两个利他的选择来试图领导理性的代理人）进入产生最优结果的超理性策略，而不是陷入产生次优结果 的纳什均衡。）

进化博弈论表明，即使智力非常有限的代理人也可以发展合作行为，而合作博弈论则研究代理人之间的理性联盟。

这些领域和想法最酷的地方在于，它们都是我的数学驱动力。

因此，在不涉及哲学的情况下，我们可以说自动机将表达类似于爱的行为，但其基础是数学，这也形成了由模型参数定义的功能限制。

在哲学上，颇有先见之明的菲利普·迪克相信自动机会变得足够聪明，可以产生同理心，允许合作行为，并导致爱。

仿生人是否会梦见电子羊是关于这个主题的，既有人文（哲学）维度，也有科学——1968 年小说的情节预示了进化博弈论，该理论在 5 年后才正式化。

这取决于环境和目标，人工智能会死吗？重现？跨代携带遗传信息？

爱是另一种自私的策略。它是我们大脑中一种与生俱来的奖励反射，可以帮助我们识别和坚持合适的伴侣，从而帮助我们繁殖，作为结果，进化有助于塑造和完善爱的本能。这至少是一个有效的理论。

也就是说，人工智能作为一个完全自私的个体，表达自私的策略可能会根据其目标而有所不同。

如果相邻的同伴不尊重或保护 AI 及其后代，那么分享或关心它们是徒劳的。

另一方面，人工智能有充分的理由喜欢例如数据源，它为人工智能提供生存和繁殖的信息。

参考：道德动物