什么是控制问题?

人工智能 定义 控制问题
2021-11-02 15:33:13

维基百科页面以非常复杂的方式描述了AI 控制问题

因此,我想根据一些简单的解释更好地理解它,这是怎么回事。基本上我不想要任何来自 wiki 的复制和粘贴,因为那里的文章是以中立的观点写的,以非常普遍的方式,文章的发展非常缓慢,所以那里的定义不适合我。

我相信这是政府现在讨论的内容,也是人工智能技术的重要方面。我相信这在不久的将来可能会成为一个大问题,所以我期待从人们那里听到更好、更最新的观点。

那么究竟什么是人工智能控制问题?

1个回答

简而言之,控制问题是人工智能最终将成为比人类更好的决策者的想法。如果我们事前没有正确设置,事后我们将没有机会修复它,因为人工智能将有有效的控制。

关于控制问题,主要讨论三个领域:

  1. 问题是否紧急。很多 AI 专家,认识到今天让简单系统有效工作的难度,认为 AI 能够控制并不紧迫,作为注重细节的工程师,他们认为今天做任何有用的工作都将非常困难。(例如,吴恩达(Andrew Ng)将这类担忧称为对火星人口过剩的担忧。)然而,鉴于人工智能专家对于这何时会成为一个问题存在极大的不确定性,这意味着我们不能排除快速的人工智能时间表,并且应该至少做一些工作来预测这些时间尺度。

  2. 问题是否困难。许多人对控制问题给出了简短、简单和错误的解决方案。最著名的可能是智力和道德在本质上是相互关联的,因此根据定义,一台更智能的机器将更具道德性。正交论是相反的主张,即智力和道德(或更具体地说,目标对齐)是不相关的事物。

  3. 我们现在可以打下什么基础。有许多未解决的问题(例如,参见MIRI 的技术议程)处理的数学逻辑有助于确保稳健的价值一致性,或如何有效地进行价值学习(不鼓励扭曲价值),或者如何建立价值函数和目标,以便在错误时可以修复。这些看起来像是我们现在可以做有用工作的问题,即使不知道未来人工智能的实际结构会是什么样子。