基本上有两个担心：

如果我们创建的 AGI 比其创建者的 AGI 程序员稍微好一点，它可能能够改进自己的源代码以变得更加智能。这将使它能够进一步改进其源代码等。这样一个自我改进的种子人工智能可能很快就会变得超级智能。

另一种情况是智能是一项非常复杂的算法任务，当我们最终破解它时，将会有大量的硬件过剩。所以“智能算法”在 2030 年的硬件上将是人类水平，但我们会在 2050 年计算出来。在那种情况下，我们将立即拥有超级智能人工智能，而无需创造人类水平的人工智能。这种情况尤其可能发生，因为开发通常需要大量的测试运行来调整参数并尝试不同的想法。

为了避免已经说过的重复答案，例如荒谬的高迭代能力，或者它能够创建另一个 AGI 系统和乘法或任何类似科幻的东西——我觉得人们谈论得不够多。

我们人类的感官非常有限，即只有当可见光谱（~400nm-700nm）内的光反射到我们的眼睛时我们才能看到物体，我们只能听到有限的频率范围，其余的则听不见等等。AGI 系统分开凭借其明显的智慧，即使是普通的观察，也能够获得大量信息。它可以将红外线、紫外线和无线电波视为我们解释为颜色的东西；它将能够听到我们根本不知道正在发出的声音。本质上，具有良好输入传感器功能的 AGI 将能够从体验真实世界中获取信息，而不是我们体验的有限幻觉。

这取决于 AGI 和 ASI 的定义。目前两者都定义不明确。大多数 AGI 研究人员都遵循他们自己对 AGI 的定义。

至少有一位研究人员认为不存在 ASI 这样的东西。这是因为上述 AGI 的基本原理始终保持不变。它可能是学习过程，核心逻辑和控制逻辑（推理系统分为控制系统和逻辑系统，控制系统决定哪些推导是有成果的）。

ASI 可以定义为搜索这些的任何组合（只是我想到的一个子集）：

• 寻找更好的算法
  • 启发式
  • 更好的当代（NN）架构
• 学习机制
• 解决技术
• 更高的主观美感
  • 更好地压缩知识
• 更好的子系统
  • NN 和一般架构
  • 更好的嵌入式 AGI
• 更快地解决已知问题的能力
• ...

然而，任何类型的（递归）自我改进都有局限性。这些例子是 * AlphaGo 和 AlphaGo-Zero 高原在足够长的训练期后的得分 * 超级编译程序的超级编译在几次迭代后不会产生改进的程序 * ...请注意，这些是关于弱 AI 的示例，可能不适用于 AGI - 但在我看来很有可能。

因此，担忧程度取决于 AGI 的合理（或遵循）定义以及 AGI 可能采用的机制的假设。