在非常高的层面上，关于进化博弈论和遗传算法，人工智能绝对有可能发展出一种类似于痛苦的状态，尽管正如你敏锐地指出的那样，它会涉及计算机关心的条件。（例如，它可能会产生一种感觉，类似于对算法意义上的非最优性“感到不满”，或者对方程式没有加起来的“沮丧”，或者对尚未实现的目标“不满”。）

在商场被小孩折磨的机器人当然可以说是“痛苦”，因为孩子们阻碍了机器人功能的发挥，但机器人没有意识，痛苦可以说是需要意识的。然而，即使没有意识，这个非常简单的机器人也可以学习新的行为，从而减轻或避免因无法履行其功能而带来的“痛苦”。

您肯定想在哲学背景下研究苦难的概念，而伊壁鸠鲁将是一个非常有用的起点。

伊壁鸠鲁在算法意义上直接相关，因为他使用术语“ ataraxia ”表示平静，并且源自动词“ tarasso ”，意思是激动或干扰。

Ataraxia 可以在数学上表示为一种平衡。Tarasso 在数学上可以表示为不平衡。

这与博弈论直接相关，不平衡可以说是游戏的首要要求，而与人工智能直接相关，博弈论可以说是所有人工智能的根源。

Ataraxia 也可以从“免于恐惧”的意义上理解，这是暂时的，因为恐惧是不确定性的函数，因为它与预测意义上的未来相关，并且涉及当前条件与可能的、不太理想的未来条件。

因此，作为一种痛苦形式的恐惧植根于计算的难处理性，即使“计算机”所在的地方是人脑。

像德谟克利特这样的早期哲学家特别有用，因为他们正在探索关键的基本概念，其中许多现在可以用现代数学来表达。

也就是说：在你首先定义“好”和“坏”之前，你无法到达痛苦，这是一种二元关系，其中任何一个词都不能说没有相反的意义。（在数学上，它可以以最简单的形式表示为有限的一维图。）这种理解非常古老。

值得注意的是，早期哲学家的持续价值部分是智慧不依赖于知识量的一个因素，苏格拉底证明了智慧可能就像知道你不知道某事一样简单。

古代的先贤没有强大的测量工具、高等的数学、科学的方法，但他们很聪明，更重要的是，他们很聪明。

这是Joanna Bryson 博士几十年来一直在写的一个主题。该网站有一份已发表论文和草稿的清单，其中一个立即浮现在脑海的是“我们如何让人工智能本身负责？我们不能。”

• Bryson 的一个核心论点是，我们不能将责任推卸给人工智能，因为我们不能有意义地惩罚人工智能——不能说当前的算法经历过痛苦

这在链接的论文中得到了部分解释：

重要的是，法院可以强加给人们的任何成本对于人工智能系统来说都不会像对人类那样重要。虽然我们可以很容易地编写一个程序，上面写着“不要把我关进监狱！” 人类对失去社会地位和短暂生命的完全系统性的厌恶不能轻易地编程到数字人工制品中。

这导致了关于一般计算应用程序性质的更深层次的争论：

一般来说，精心设计的系统是模块化的，因此他们无法体验系统性压力和厌恶。我们可以为机器人添加一个由定时器和炸弹组成的模块，当机器人独自一人时，定时器就会启动，如果定时器运行了五分钟，炸弹就会熄灭。这对机器人的破坏性比十分钟的孤独对人类的破坏性要大得多，但这不一定是机器人的任何动力。再次以智能手机为例，如果您将该模块添加到您的智能手机中，该手机的其他组件会知道或关心什么？GPS导航器？闹钟？通讯录？这不是我们构建人工制品工作的方式。

遗传和其他学习算法当然可以设计成最大化奖励和最小化惩罚，但是，如果它们没有意识和感知力，就不能说它们受苦——没有连贯的自我来体验受苦。

也许这触及了人类解释他们世界的乡土方式的核心。痛苦是抵御熵的最佳方式吗？如果被问到，狗会惊讶于我们如何在不闻任何东西的情况下度过我们的日子吗？我认为我们正在创造的这种称为 AI 的外星生命形式的真正价值（也许更准确地说是 MI，机器智能，智能就是）是它不会像我们一样。当然这也是一个很大的风险。