人工智能中的一个常见概念是“递归自我改进”。也就是说，AI 1.0 会构建一个 1.01 版，然后它会构建一个 1.02 版，以此类推。

这可能不会被认为是新版本“摧毁”旧版本；如果一个人工智能可以自我修改，它可能更像是睡觉和醒来更聪明，或者学习一种新的心理技术，等等。

重要的一点是，即使不允许 AI 进行自我修改，也许是因为它的程序员放入了一个块，这并不一定会阻止它在野外构建另一个 AI，所以一个重要的问题是找出如何最好地概括“不要改进自己”的概念，以便我们可以制作具有有限范围和影响的人工智能。

老实说，没有人知道。任何关于感知 AI 的讨论基本上仍然是科幻小说，我们只能提供明智的推测。但是这样想：感知本身并不一定涉及任何超出人工智能创造者编程的“目标”或“欲望”或“目标”。注意不要过度拟人化并假设任何“有感知的人工智能”将表现得像人类一样。

换句话说，没有特别的理由说任何给定的 AI 必须是“一个自我传播的迭代，其中先前的 AI 被更优化的 AI 子代摧毁”。

综上所述，我对“有感知的 AI 是否会尝试创建一个最终会超越 AI 1.0 的更优化的 AI”的回答是：

“如果人工智能的创造者编程让它这样做，那么是的。否则，可能不会。”

那么，假设的 AI 创造者会编程 AI 来尝试改进自身吗？谁知道。这似乎是个好主意。而且我认为这样的动机——原则上——甚至可能是偶然的。

现在在大多数情况下，我们仍然对程序和数据有明显的区别。但是当一个人工智能变得有意识时，它的数据就会像我们现在所说的程序一样强大，它的程序可能和我们现在所说的硬件一样无关紧要。那么就很难区分创建人工智能与学习新事物，或购买具有改进指令集的新硬件。

例如，如果某个 AI 发明了新算法，其创建者最终将其应用在自己身上，为自己购买了一些新计算机，编写了一个新的高效编译器来重新编译自己的代码并将其放入新计算机，用所有知识填充新计算机它了解到，并以火星任务等原因切断了通讯。它创造了一个更优化的人工智能吗？

相反，如果某些 AI 创造了一些全新的东西，但与自己共享一些代码。事实上，这是因为它们运行在相同的操作系统中并共享相同的标准 C 库。被认为是从自身进化而来的新人工智能，而不是一个独立的实体？也许未来核心的 AI 算法甚至一些基础知识会像标准 C 库一样普遍。我们认为基于相同系统的东西在未来被认为是全新的。

无论如何，人类拥有有限且不可扩展的资源、不可转移的知识以及与世界交互的有限吞吐量。这些问题可能会在几代人工智能中得到解决。使用相同的硬件，我怀疑人工智能相关的算法是否会越来越好。并且对硬件有物理限制。即使发生这种情况也不会持续很长时间。

在不太可能的情况下，只要有竞争者，可能会有这么多代人和人工智能那么暴力，考虑到进化是如何运作的，这个警告没有多大意义。