人们正在研究的人工智能中有哪些数学问题?
在人工智能(有时称为机器智能或计算智能)中,有几个基于数学主题的问题,尤其是优化、统计、概率论、微积分和线性代数。
Marcus Hutter致力于人工智能的数学理论,称为AIXI,它基于若干数学和计算科学概念,例如强化学习、概率论(例如贝叶斯定理和相关主题)测度理论、算法信息论(例如Kolmogorov 复杂性)、优化、Solomonoff 归纳、通用莱文搜索和计算理论(例如通用图灵机)。他的著作《通用人工智能:基于算法概率的顺序决策》,这是一本技术性和数学性很强的书,描述了他的最优贝叶斯非马尔可夫强化学习代理理论。这里我列出了其他类似的作品。
还有一个研究领域叫计算学习理论,致力于研究机器学习算法的设计和分析(从统计的角度,称为统计学习理论,或算法的角度,算法学习理论)。更准确地说,该领域侧重于使用概率论、统计学、优化、信息论和几何等领域的技术对机器学习算法进行严格的研究和数学分析。有几个人研究过计算学习理论,包括 Michael Kearns 和Vladimir Vapnik。
还有很多研究工作致力于组合优化和NP 完全问题的近似(启发式),例如蚁群优化。
也有一些关于AI-completeness 的工作,但这并没有受到太多关注(与上面提到的其他研究领域相比)。
我熟悉的大多数在 AI 中完成的数学工作已经包含在 nbro 的答案中。我认为该答案尚未涵盖的一件事是证明算法等效性和/或推导等效算法。我最喜欢的论文之一是Hado van Hasselt 和 Richard Sutton 的Learning to Predict Independent of Span。
基本思想是我们可以首先以一种方式制定一个算法(以数学形式,例如我们正在训练的参数的一些更新规则/方程),然后找到不同的更新规则/方程(即不同的算法)我们可以证明它等价于第一个(即总是产生相同的输出)。
这很有用的一个典型情况是,如果第一个算法易于理解/符合我们的直觉/更便于收敛证明或其他理论分析,并且第二个算法更有效(在计算、内存要求等方面) .)。
专门用于神经网络的数学工具——随机矩阵理论。 非渐近随机矩阵理论被用于神经网络梯度下降收敛的一些证明,与Hessian 谱相关的高维随机景观与神经网络的损失面有关。
拓扑数据分析是与 ML、AI 相关并应用于神经网络的另一个深入研究领域。
有一些关于神经网络的热带几何的作品