到目前为止，我了解——我对这个话题知之甚少——人工智能的核心归结为设计算法，该算法应为给定的陈述提供 TRUE/FALSE 答案。尽管如此，我知道哥德尔不完全定理提供的局限性，但我也知道在过去的 60 年中，存在诸如卢卡斯和彭罗斯论证的长期辩论以及随之而来的反对意见。
据我了解，结论是，要创建人工智能系统，我们必须接受不完整或不一致。
这是否意味着智能系统（包括人工系统），就像人类一样，最终可能会陷入某种无法确定的情况，从而导致做出错误的决定？
如果这在某些应用程序中可能是可以接受的（例如，如果每隔一段时间垃圾邮件最终会出现在收件箱文件夹中 - 反之亦然 - 尽管有基于 AI 的反垃圾邮件过滤器），但在某些其他应用程序中可能不会。我指的是实时关键应用程序，当机器的“错误”操作可能会伤害人时。
这是否意味着人工智能永远不会用于实时关键应用程序？
在那种情况下，使用不会为任何类型的不确定性留出空间的确定性方法会更安全吗？
您对 AI 核心的初步陈述相当有限。一般来说，人工智能关注的是通过模仿（软人工智能）或复制人类认知的工作方式（硬人工智能）来建模人类行为。到目前为止，软人工智能已经取得了一些成功，因为计算机可以执行需要一些“智能”的任务，尽管这种智能的程度值得怀疑。这部分是因为即使我们人类也不清楚计算机“理解”某些东西意味着什么。
但你的结论是正确的：如果我们建立一个具有人类特征的人工智能系统，那么它就会犯错误，就像人类犯错误一样。任何由人类（或机器！）设计的系统都会出错。然而，不能处理不完美的世界与人工智能本身并没有真正的关系：即使是不使用人工智能方法的系统也必须面对这一点，而一个系统是否适合实时关键应用无关紧要是否基于人工智能。
更新：这里似乎有两个不同的问题：可判定性和实时处理。
实时计算 (RTC)：这与 AI 无关。即使是用 Java 编写的普通程序对于 RTC 来说也不是真正安全的，因为它们可能随时启动垃圾回收周期，从而暂停程序的执行。试想一下，当您的控制器内存不足并且垃圾收集启动时，反应堆核心开始过热，从而使程序停止了几分钟。如果您在 RTC 安全系统中实施 AI 方法，那应该不是问题。
可判定性：你的推理是人工智能系统试图反映人类的认知，从而结合犯错的能力。这是一个更哲学的问题——如果一个人可以控制一个系统，那么一个具有相同能力的人工智能系统也应该能够做到。这假设我们能够复制人类行为（我们不是）。有一些人工智能方法是确定性的，因此在相同的环境下会得出相同的结论。所以我会说它们不会比非人工智能方法表现得更差。这在一定程度上取决于您要如何称呼 AI；目前，传统人工智能和统计方法之间的区别越来越模糊。
总结：不，人工智能方法应该是合适的，因为它们也可以是确定性的。如果是，则取决于实际应用和方法。而且，当然，关于你算作人工智能的东西。
人工智能不能简单地归结为设计二进制或其他算法，仅仅因为生物系统中智能的展示早于算法计算的发明。由此，我们可以进一步得出结论，算法不是表现出我们认为智能的行为的系统的必要组成部分。
根据 John von Neumann 的建议，决定通过将所有计算委托给单个二进制中央处理器来提高计算机的可靠性。这种选择和它所基于的先前工作（香农、丘奇和图灵）导致了算法规范在计算机语言中的卓越地位。奠定了用算法术语表达功能设计的基础，软件产业诞生了。
从那时起，研究出现了一种平行的趋势，即回归计算机的生物学灵感，更具体地说，是并行处理。我们在几个层面上看到了这一点。
一些人认为，哥德尔的两个不完备定理的一个含义是，人类的思维不符合图灵定义的计算机标准，但这些主要是切线问题。
确实，证明具有足够分辨率、深度和宽度的 RNN 可以被训练为与 Hava Siegelmann 的任何图灵机等效。的确，她的作品被认为是对马文·明斯基（Marvin Minski）大胆断言人脑是肉机的支持。然而，约翰·卢卡斯和罗杰·彭罗斯的《皇帝的新思想》关于决定论的工作并不是对哥德尔定理中的任何一个的反驳。它们驳斥了一些人认为是哥德尔定理的后果以及明斯基声明的一些含义。
哥德尔在介绍这些定理的论文的前半部分清楚地解释了他的意图，它们与计算无关。他打算并成功地证明了一个具体的数学系统中的定理即使是真的也不一定总是被证明的。哥德尔的工作对证明所有剩余未证实的数学定理的倡议提出了不必要的怀疑。数学家自然倾向于将数学视为完美的人类努力，而真实与可证明之间不一致的合理证明似乎是一种不完美的刺激。
也许对哥德尔不完备性定理最深刻的回应来自艾伦·图灵，他很可能故意在他的定理名称中加上了完备性这个词。但这也不是反驳。他通过定义一类数学运算和有限数据结构来解决不完整性问题，他可以在这些数据结构上进行运算，他可以证明它们是完整的。这样做后，他为算法开发奠定了重要的基础。
尽管如此，对于当今的人工智能研究人员来说，接受不完整性和不一致并意识到人工智能，无论是否人工，在任何有限程度的学习后都可能出错可能是明智的。这很可能是因为无法在有限的时间内为学习系统提供无限范围的问题类型。可能总是存在至少一个当前学习状态无法解决的问题。这种部分知识条件的实用俗语是“我们不知道我们不知道什么”。
此外，哥德尔工作的一个明确含义是，任何类型的智能都无法为某些真实的事情找到证据。同样，我们不能确定最聪明的寻找反例来反驳错误断言的方法可能会永远找到一个反例。PAC 学习框架解决了从数学角度可解决或不可解决且值得研究的问题类别。
最后，但也许最深刻的是，尚不清楚是否存在一种可以学习任何东西的智能，而不是被编程来完成任何事情。换句话说，通用智能可能是一个从未实现但可能接近的理想概念。在一个环境和一个特定时间段内看起来像超级智能的东西在另一种环境或不同时间段内可能完全无效，甚至是反智能和有问题的。
这一点怎么强调都不为过，因为有太多关于人工智能的陈述是以科学的名义发表的，而这些陈述与科学严谨性无关。
尽管如此，即使对人工智能和人类智能都有这些可能的限制，也不能得出结论说人工智能在实时关键应用中无效。也不能得出结论，人工智能在任何特定领域都将不如人类智能有效。
实际上，如果没有正式定义它并在该定义中达成共识，就很难得出任何关于情报的结论，这仍然是我们无法理解的。我们可以看到，在没有这种手续的情况下，邮件行业无法继续对邮件进行自动分拣。汽车行业继续追求比普通人类驾驶员更好的人工驾驶员的发明。游戏行业实施了人工对手，他们必须故意犯错才能让人们在公平、实时的游戏中获胜。
显然，人工智能的发展速度比影响人类大脑的 DNA 成分更快。
与十年前相比，今天的人们不再那么震惊了，即在本世纪的某个时候，在某些司法管辖区驾驶汽车将是非法的，当时人员和财产损失统计数据证明自动驾驶汽车比几乎几乎更安全。所有手动的。人类为驾驶安全设定的标准不是很高，白日梦、发短信、偶尔的疲倦或醉酒会减缓许多街头事件本已不足的反应时间。
如果驾驶计算代理因为确定狗、儿童和老人的轨迹与汽车的轨迹相交而发生恐慌，它可能会在毫秒内解决恐慌并绘制一个安全的路线（可能避免所有这三个或可能牺牲狗来救两个人），而人类只有在击中某个人之后才能解决恐慌。
总而言之，决定人工智能部署的适当平衡或数量的不是绝对可靠，而是将人类表现的分布与类似条件下机器替代品的分布进行比较。
您的问题主要是哲学问题，而不是技术或科学问题。所以我在这里给出意见和参考。
AI的核心归结为设计算法
我注意到您甚至没有尝试定义人工智能（自上个世纪以来其定义发生了变化）。您可以查看《人工智能》杂志的目录，并注意到其中涵盖的主题在几十年内发生了巨大变化（甚至实验方法也有所下降）。
您可能有兴趣阅读有关AGI的更多信息并关注有关它的少数会议。当心，有很多过于简化的方法，甚至是很多废话（例如在这个AGI 邮件列表上，但有些消息有宝石）
我假设您接受Church-Turing 的哲学论点：每个智能认知（自然的，即生物的或人工的）都是一些符号计算。特别是，数学家的工作可以抽象为图灵机（这是图灵和停机问题的主要见解）。还要注意相关的Curry-Howard对应和Rice 定理。阅读哥德尔、埃舍尔、巴赫！
我们还不知道如何制作 AGI。你可以阅读博斯特罗姆关于潜在危险的超级智能书。您还可以阅读 J.Pitrat 的《人造生物》一书（它提供了更多关于最终制作 AGI 的积极和建设性的见解）和博客。
我个人的信念（只是一种观点）是，AGI 可能会实现（在数十年内），肯定应该获得更多的资金 - 和更多的时间 - 作为研究课题（例如，与ITER反应堆一样多；另请参阅softwareheritage.org和那里的动机），但不会通过任何单一技术实现，而是通过许多人工智能技术的巧妙组合（包括象征性人工智能- 例如用于规划- 和机器学习或连接主义方法，灵感来自认知心理学）。
据我了解，结论是，要创建人工智能系统，我们必须接受不完整或不一致。
我们是智人（ Homo Sapiens Sapiens）物种的成员（在拉丁语中，是那些知道自己知道，因此有超知识能力的人类），声称自己很聪明。但是我们所有人都有一个全球性的不完整和不一致的行为，因为我们每个人都有矛盾（例如在我们的个人生活或道德信仰中）。因此，从逻辑上讲，不完整性或不一致并不反对智能。阅读更多关于定位人工智能和机器伦理的信息。顺便说一句，我相信（因为受过 J.Pitrat 的教育）任何 AGI 系统都需要明确和声明性的 元知识。
这是否意味着人工智能永远不会用于实时关键应用程序？
请注意，自主杀人机器人今天已经是一个有争议的研究课题。自主机器人已经存在（例如，火星漫游车无法远程操作——对于每一次基本运动——来自地球，因为任何无线电信号都需要几分钟才能到达火星）。自动驾驶汽车（例如谷歌汽车）今天声称使用人工智能技术并且是实时 安全关键系统。今天的空中客车公司或波音公司（参见DO-178C）大部分时间都是自动飞行的。巡航导弹和洲际弹道导弹是发射后不管的装置。许多高频交易系统声称使用人工智能技术并且是实时的。
PS。请注意，上个世纪被称为 AI 的东西今天被称为 AGI。我在 AI 领域的博士学位在 1990 年获得了辩护（并且是关于元编程目标的明确元知识，例如，参见这篇1987 年的旧论文）