我找到了做过这件事的人！您可以在 Marcus Hutter 对这个问题关于给予 AIXI 的奖励的回答中听到一个很好的解释。他描述了一篇似乎是指这篇论文的作品：

随机环境的通用知识搜索代理

稍后我将通过对该方法的完整解释来编辑此答案，但本质上的想法是您使用 AIXI 模型进行最佳强化学习，并根据获得的信息给予奖励（以谨慎的方式避免一些常见的陷阱）。结果，它学会选择能够提供最多信息的行动，以预测其行动的影响。这导致了类似“科学家”的行为，你可以想象它会做一些事情，比如把整个地球变成一个超级对撞机，以更好地理解一些物理定律，如果它认为这是获得最大信息的最佳方法。它可能还会做很多非常不道德的心理学实验，例如，如果它最终决定人类行为对于预测和理解很重要。

从这个意义上说，这不是一个“安全”的奇点，但这没关系，我不需要那样做。这至少是一个正式的定义。它需要做一些不可计算的事情，但未来研究的希望是，我们可以对那些不可计算的事情进行足够接近的近似，以使其无论如何都足够好。

我觉得这个理论缺乏对这样一项任务的可行性的任何解释，因为它使用了不可计算的代理，所以我还不接受它，但这是我迄今为止看到的最好的答案。我将密切关注未来的研究，看看他们是否可以更好地处理可行性，在寻找 AIXI 的可计算近似值方面似乎已经进行了大量工作。我关心可行性的原因是因为它与数学上决定像“智能爆炸”这样的事情实际上有多合理非常相关。因此，如果一个理论不谈论可行性，那么它就错过了这个问题的很大一部分。这个理论似乎仍然充满希望。例如，最大化某些奖励函数可能存在基本的计算限制，我们可以证明，即使是这个奖励函数的某些级别的近似值也是不可计算的。这将是一个非常有趣的负面结果。

总的来说，我认为使用强化学习，然后选择一个尝试捕捉内在事物（例如“好奇心”）的奖励函数的想法是尝试正式定义奇点的一种非常好的方法。我期待在未来看到其他潜在的奖励功能，我不希望这是唯一的一个。

这是一个想法。我将从一个更具体的“数学奇点”开始，定义为可以在 N 小时或更短的时间内完成以下任务的算法（对于所有$N >= 1$):

1. 人类将在 2018 年之后的 N*20 年内阅读和理解的所有数学定理/猜想的状态等效版本（直到概念上的差异），可以在Metamath中正式陈述（这是任意选择，但 Metamath 足够通用，可以包括量子ZFC 的逻辑和扩展，因此它似乎是一个不错的起点。如果您愿意，可以随意使用 Coq、Isabelle、Lean 等），假设这些人永远无法使用“数学奇点”功能的算法和他们的数学社区继续以与 2018 年相似的方式在智力上生活和运作
2. 在这些问题中，提供所有这些人类将在 N*20 年内解决的问题的正确证明（这些可能不可读，没关系）。

当然，这并不能完全捕捉到人类在那些年里将取得的所有数学进步：缺少的一个重要组成部分是“可读证明”和元数学中无法捕捉到的概念。但这是理论上形式上的东西。

我知道这不包括任何“持续改进”，我在这里指的只是一个阈值，当算法通过它时，我认为它足够强大，可以被认为是“足够智能”。达到了接近奇点的智力水平。随意调整您脑海中的（20 年）常数以匹配您的首选阈值。

我不会接受这个答案，因为它缺乏“持续改进”，但我提出它是因为如果我们无法弄清楚如何在数学上定义它，也许只是在各个领域拥有“足够的标准”可能是一个好的开始。

编辑：我认为奇点通常涉及到一种优于人类社会的智能发展的假设。这意味着它至少能够做我们社会所做的事情，因此这里可能有一个很好的论据，即“证明可访问性”和“方法可教性”对于这个问题至关重要。

我的意思是，如果我们考虑微积分领域的当前状态，它已经从一个只有少数领域专家才能理解的神秘话题，变成了现在对高中生来说很容易理解和教授的话题。虽然这不需要证明任何新的主要数学定理，但人们可能会争辩说，我们的大部分技术进步都是在先进的数学机器（微积分）被广泛的人所使用之前才​​出现的。

我打算就“不同之处在于计算机可以更快地学习：它们可以非常快速地阅读大量证明”提出一个论点。但我认为这取决于实现奇点的任何“事物”的架构。即，这里是（非详尽的）两种可能结果的列表：

• 只有一个“心”在实现这一切。在那种情况下，那个头脑拥有它需要的所有知识，它不需要教任何人进一步进步，所以这一点有点无关紧要。但是，如果可能的话，如果我们想利用人工智能在人类社会中获得的大量知识，我仍然可以看到“可教性”的论据。
• 有一个虚拟思维的模拟“社会”，它们相互交互，共同实现数学奇点。如果这个“社会”中的一个“头脑”不能很容易地使用和理解另一个头脑所做的工作，那么“可教性”这一点对于防止个人头脑不得不不断地重新创造轮子非常重要，所以说话。

如果没有我们的生物学限制，这些数字思维可能有非常不同的“教学”方法，但我认为这是对“数学奇点”的理想附加要求：

3. 通过证明 pdf 教科书（或其他类似的教材）涵盖与人类数学教科书在 N*20 之后所涵盖的相同材料，这些证明必须（最终，也许直到花费相当多的时间）可供研究生数学家使用以一种典型的研究生数学家可以理解的方式。

然而，我们现在在这方面失去了一些形式：教科书通常包含大量难以正式衡量的阐述和类比，甚至可能与人工智能无关。这是一个不太好的替代选项，但仍然接近：

3. 该算法必须以一种可以被任何其他也可以实现“数学奇点”的算法使用的形式呈现其结果，以“向前跳”到 N*20 年，然后立即从那里继续前进。

然而，这个标准有一个微不足道的漏洞：一个算法也可以只提供一个“保存状态”和一个“程序”来运行该保存状态。可以想象，任何能够实现数学奇点的算法至少能够执行代码，因此提供“保存状态”和“程序”通过了这个标准，而不会使其完全可访问（这里需要注意的是，如果它使用某种模型需要特殊硬件（例如量子计算或黑洞计算）以防止减速的计算，但这不是重点）

我想我更喜欢这种选择：

3. 这些证明的长度必须与人类学术界在这 20*N 年中所做的证明（形式化版本）相似

“长度”在这里很棘手：通过简单地引用一个非常强大的引理，可以非常简洁地证明一个非常困难的定理。但这是一个示例指标：

$$length(Proof) = lengthInSymbols(Proof)+\sum_{symbol \in Proof} \frac{length(symbol)}{numberOfTimesUsedInOtherProofs(symbol)}$$

其中“Other Proofs”是人类在这 N*20 年内阅读和理解的所有证明的集合，“symbols”是指诸如“Green's Theorem”或“$\in$”。希望这个想法在这里很明显：如果某些东西在许多证明中经常使用，那么它是一种“通用技术”，对那个证明并不重要，因此对那个证明的“长度”贡献不大. 在这里找到一个可能更合适的度量似乎是一个比定义数学奇点本身更容易处理的问题，我怀疑这在其他地方有更多的研究，所以我现在就把它留在这里。

我会从与@Phylliida 不同的方向接近它，尽管她的回答似乎没有错。

恕我直言，当人工智能

• A：足够普遍，
• B：能够指导自己的进化，
• C：控制（直接或间接）成长和发展所需的所有资源，以及
• D：有成长和进化的目标，以解决一个大而重要的问题，

那么就达到了“奇点”。

“足够通用”意味着它的增长不受最初定义它的代码的限制：它可以重写自己的代码（通过“沙箱中的后代”，或直接；不管哪个）。

遗传编程目前很笨拙，但确实足够通用。

C 是很可能需要给它的东西，所以没有人能够拔掉它。

D 很简单。我希望看到未来主义者和人工智能社区努力选择这样的目标。

这不是数学定义。这是更平凡的事情；但我认为这是重点。

我相信数学定理是通过学术同行评审过程促进的严格证明而形式化的社会结构；换句话说，我不是数学柏拉图主义者。你问：“我们能在数学上定义 AI 奇点吗？” 我个人认为没有理由不能用数学术语来定义所谓的 AI 奇点。让我们假设一位有天赋的数学家能够为与 AI 奇点有关的数学猜想提供一组令人信服且逻辑一致的严格证明。上述数学家然后将论文提交给享有盛誉的数学期刊，例如美国数学会杂志. 如果这篇论文通过了严格的学术同行评审程序发表，那么这将构成同行接受 AI 奇点确实可以用数学术语来定义。