我非常喜欢您的观点，并且没有详细说明如何影响“奇点”，这在许多其他问题中都有涉及，或者意识和“无所不知”如何发挥作用，因为意识和无所不知不是必需的，我将改为将您引向两位重要的哲学家：

• 菲利普 K. 迪克在他 1968 年著名的人工智能著作中的中心主题是同理心。 （如果你还没有读过，我不会剧透，只是说这个情节是由进化博弈论的概念驱动的，进化博弈论是在 5 年后才正式形成的。）

• 约翰纳什，特别是纳什均衡的概念。（纳什可以说已经在数学上证明了做一个“混蛋”并不是一个最优策略。他的证明可以用来解释为什么核缓和确实有效，这与冯诺依曼的预期背道而驰。）

所以当人们发疯，专注于机器崛起摧毁我们的“天网”神话时，我不得不怀疑他们是否根本没有纳什那么聪明或没有迪克那么深刻，这可能解释了他们缺乏对什么可以称为“电羊”范式。

这个问题很好，很多人都在想。在思路上有一些误解需要考虑。

• 人类以外的智慧生物至高无上威胁着文明——这种威胁的想象是否合乎逻辑？当人类智力是当今生物圈中最具威胁性的生物现象时，这是一个合理的结论吗？昆虫的智慧可能更具可持续性。蚂蚁和白蚁的文明当然更具协作性。世界大战和种族灭绝是人类历史的主要特征之一。
• 人工智能变得比人类更智能——人工智能在某些方面已经比人类更智能，这就是为什么我们使用计算器、自动切换通信信号而不是操作员以及自动邮件分拣机的原因。在其他方面，人工智能必须跨越天文距离才能开始逼近人类智能。我们没有任何迹象表明能够在未来模拟或复制人类的推理能力、创造力或同情心。
• 奇点是在 2040 年代预测的——这些预测中有十几个不切实际的假设。用批判的眼光审视他们背后的任何一个论点，你会发现你可以蒙着眼睛让一架 757 飞过。
• 知识呈指数级增长——信息呈指数级增长，但随着错误信息、野蛮猜测和假新闻的增加，经过合法同行评审的信息比例会下降。我的信念是，世界上的信息量可以用 log(n) 来近似，其中 n 是人口。如果我符合这种关系，则平均个人的信息价值是 log(n)/n，随着人口的增长而减少。
• 人工智能将具备无所不知的能力——无所不知的不仅仅是回答任何问题。Omniscience 要求答案是 100% 可靠和 100% 准确，这可能需要比宇宙中存在的更多的硅。如果您想了解原因，请阅读 Gleick's Chaos 。有人可能会争辩说，一个无所不知的存在不会根据命令回答问题。

如果你想要一个比由人类智能控制的世界更好的世界，那么一个方向就是寻求发展一种具有更先进的和平文明概念的新物种，它可以像我们对待狗一样驯服和驯化我们，猫。

更简单的路线只是让我们所有人都死去。在我们到达并开始互相残杀之前，生物圈可能更加文明。但这不是我的希望。

我的建议是我们研究 NI（非智能）并发现如何从人类行为和地缘政治互动中摆脱愚蠢的东西。这将改善世界，远远超过分散注意力和根本不相关的机器学习小工具和应用程序。

以下是我的猿头脑想出的一些问题。

1.聪明！=无所不知

AI 自我提升的爆发让它变得越来越聪明。更聪明并不意味着知道更多的事实。我想这是一个相当挑剔的论点，但我认为值得思考。

一个不了解您的病史的非常聪明的医生可能仍然比一个不太聪明但拥有更好数据的医生做出更糟糕的选择。

2. 一切都是为了人类吗？它适用于所有人类吗？

达到更高水平的 ASI 不会对我们的幸福感感兴趣。

一个受控的 ASI 仍然可以只为少数人的利益而工作，如果这些少数人决定错误的目标，我们可能会倒退。

3 苛刻的 ASI

一个科学的头脑不一定充满同情或同理心。

4.聪明与不聪明

伟大的头脑仍然会犯错误： * 设定目标，以及 * 执行计划以实现目标。

Geat 智力并不能保证没有短视或没有盲点。

5. 限制

如果存在存在界限（光速类型限制），那么 AI 也将受到这些界限的约束。这可能意味着有些东西即使是 ASI 也不会“得到”。此外，由于我们的思维可能基于其结构而受到限制，因此下一个 AI 也可能具有限制——即使它改进了 uppn 也可能达到它无法找到解决方案的限制，因为它“太愚蠢”了。

6.我们不会得到它

ASI 对世界某些方面的理解可能无法与大多数人交流。我们只是不会明白（即使我们能够理解一切，也不意味着我们会理解）。

7、如何使用？

我们可能会摧毁自己，以及人工智能及其帮助我们建立的技术。它不需要是炸弹。它可以是地球工程或神奇药物。

当 ASI 已经很强大但还不足以预见负面后果（或者我们无论如何都会忽略它）时，这种情况尤其强烈。