学习能力的数学基础

人工智能 机器学习 计算学习理论 数学
2021-10-26 09:36:26

我是一名应用数学专业的本科生,对人工智能感兴趣。我目前正在探索可以进行研究的主题。来自数学背景,我对这个问题很感兴趣:如果给出一些应该如何完成的示例,我们能否在数学上确定某个 AI 系统具有学习任务的能力?我想知道在这个主题上做了哪些研究,以及哪些数学工具可以帮助回答这些问题。

2个回答

计算学习理论(或简称学习理论,简称 CLT、COLT 或 LT)致力于机器学习算法的数学和计算分析,因此它关注的是机器学习算法的可学习性(即泛化性、界限、效率等)。给定学习器(或学习算法)、假设空间、数据等的某些任务。

CLT 可分为两个子领域:

最著名和研究最多的 SLT 框架可能是PAC 学习VC 理论(将 PAC 学习扩展到无限维假设空间)。

CLT 上有很多很好的资源,其中一些可以在这个答案中找到。

这是该站点上的一个相关问题:人们正在研究的人工智能中有哪些数学问题?.

@nbro 已经提供了一个很好的答案,所以我将用两个具体结果来补充他的答案:

明斯基在他 1969 年出版的《感知器》一书中提供了一个数学证明,表明某些类型的神经网络(当时称为感知器)无法计算称为 XOR 函数的函数,从而表明无法在严格意义上实现思维结构体。Minsky 进一步争辩说,这一结果将推广到所有神经网络,但他未能解释称为“隐藏层”的架构调整,这将允许神经网络计算 XOR 函数。这个结果在现代并不是很相关,但他的证明的直接影响导致几十年来人们由于感知到的故障而忽略了神经网络。

另一个常被引用的结果是通用逼近定理,它表明一个足够宽的单层神经网络将能够逼近(读作:任意接近)给定适当激活函数的任何连续函数(iirc 激活需要是非线性的) .

你也可以考虑 MIRI 的研究,从某种意义上说,它比上面列出的例子更像是对 AI 的“纯粹”研究。他们的Program Equilibrium v​​ia Provability Logic结果非常有趣,该论文的要点是,如果程序阅读彼此的源代码,它们可以在一个非常简单的游戏中学习合作。