低资金的私人研究在人工智能领域是否仍然可行?

人工智能 研究
2021-11-02 08:45:50

我的问题假设私人研究人员无法获得比具有高端 GPU 的现代 PC 更强大的东西来实施他的项目。他也可以使用云计算,但资金有限。

在这些限制下进行研究是否仍然可行?AlphaGo 使用 1,202 个 CPU 和 176 个 GPU击败了李世石。这种巨大的能量是否只需要实现最终的优化,还是我们已经达到了高端研究只能用更大的资金来完成的状态?

请在您的答案中包含最近研究结果的示例以及用于创建它们的所需基础架构。

4个回答

是的,你可以用低资金做人工智能研究(但你需要很多时间!)。值得注意的是,因为人工智能与应用机器学习不同(实际上在大数据上运行机器学习程序需要大量的计算机能力)。例如,知识表示和推理自然语言处理(两者都是 AI 的子领域)通常不需要大量的计算机能力。即使对机器学习感兴趣(这与 AI 不同,只是它的一个子领域),您也可以使用功能强大的 PC 或笔记本电脑。

人工智能等期刊或IJCAI等会议(参见他们过去的论文集)上的许多近期论文(可能是大多数论文)在 某种程度上都是理论上的,当某些东西被实施时,它可以在笔记本电脑或台式机上运行。请注意,AI 期刊和 IJCAI 会议都经过同行评审,过程非常有选择性。

实际上,很难找到一篇关于人工智能的研究论文提到需要昂贵的设备来进行研究。用于研究的昂贵超级计算机通常不被人工智能研究人员使用(但被物理学或生物信息学研究人员使用),人工智能研究人员通常甚至无法使用此类设施。

例如,最近的 IJCAI2016 论文,例如Coco: Runtime Reasoning About Conflicting Commitments、 Interdependent Scheduling GamesControl of Fair DivisionVerifying Pushdown Multi-Agent Systems against Strategy Logics等,都没有提到任何昂贵的计算。实际上,最近的论文很可能不使用也不需要大规模昂贵的云计算。并且其中一些研究可能除了玩具原型之外还没有实施(也许是一些实习生)。



请在您的答案中包含最近研究结果的示例以及用于创建它们的所需基础架构。


以下是一些最近的研究出版物,它们都明确提到了所需的计算机设备,请点击链接阅读它们:

事件最近的 IJCAI实验论文,如A Multicore Tool for Constraint SolvingCompiling Constraint Networks into Multivalued Decomposable Decision GraphsExternal Memory Bidirectional SearchMultiple Constraint AcquisitionCompletion of Disjunctive Logic ProgramsE Elimination Disjunctions in Answer Set Programming by Restricted UnfoldingOn the Empirical相变中随机 3-SAT 的时间复杂度至多提及多核工作站(例如,至多双 Xeon 插槽工作站,通常是更便宜的笔记本电脑或台式机)。我想大多数作者只需要他们的 GPU 作为显卡,就可以使用他们的显示屏。顺便说一句,其他期刊上的论文,例如JAIR(例如通过机器学习提高树分解上动态编程的效率),当他们提到计算机设备时,给出了类似的机器(笔记本电脑或最多高端台式机)。

(实际上,我不记得读过一篇提到昂贵计算设备的 AI 论文;我相信这是因为在学术界,对超级计算机的访问几乎只用于其他领域的研究:物理学、生物信息学等。对于获得这种访问权限的 AI 研究人员既困难又不常见;顺便说一句,在H2020中,欧洲研究授予的计算成本高于劳动力成本的 15% 需要得到充分证明,因此是例外的)

但是,您最好将您的软件发布为免费软件或开源软件,并且您需要大量时间(最好是全职,或至少一半时间)来完成研究工作、发布它并跟踪外部进展在您所在的地区。顺便说一句,联系附近的大学可能会有所帮助(您可以参加一些研讨会等)

您可以找到仅在笔记本电脑或台式机上工作的 AI 研究人员的有趣博客(例如J.Pitrat 的博客)。

因此,大多数人工智能研究(即使是机器学习,阅读JMLR的论文)都是由在笔记本电脑或台式机上工作的研究人员完成的我什至不确定您是否需要强大的 GPU 来进行研究。您当然可以使用 2017 年价格低于 1500 欧元或 2500 欧元(有时低端笔记本电脑就足够了)的台式计算机(可能运行 Linux,32Gb RAM,一些 AMD Ryzen 或 Intel i5 或 i7)进行有趣的研究。在极少数情况下(少数论文),您可能需要一个双路工作站(可能需要 5000 欧元)。

请注意,大数据不被视为人工智能领域。我猜想(但不是很清楚)大数据研究需要比 PC 更多的计算机能力。顺便说一句,我不确定AlphaGo是否真的是一个研究项目,它更像是一个工业演示。

PS。另请参阅http://norvig.com/21-days.html(请注意作者是!)和此Bismon 报告草案(开发编程技术,在 GPLv3+ alpha 阶段软件原型中,特别是基于框架语义网络相关的,具有反射 内省,可重用且与 AI 相关),以及RefPerSys项目。

对普通笔记本电脑进行研究是完全实用和鼓励的。使用这种架构可以解决许多关于人工智能的问题,作为参考,请查看每个可能无法使用这种超级计算机的人工智能研究生(其中大多数)。人工智能研究是在笔记本电脑上完成的。它是对可能需要超级计算机的难题的系统介绍。这也是为什么 OpenAI 健身房的每个域都可以在笔记本电脑上轻松运行的原因,作为案例研究, Deepstack是一个新的人工智能系统,可以击败职业扑克玩家并在笔记本电脑上运行。

可以在一些非常基本的计算机上进行大量研究。并非所有机器学习研究都基于非常大的神经网络。有很多机器学习研究都在使用其他更简单的算法,例如 k-means 聚类和 softmax 回归。这些算法非常基础,因此可以运行得非常快,但它们不需要大量的超级计算机来训练。此外,一个不错的高范围 GPU 可以训练一些相当大的神经网络。您可以在高端 GPU 上合理地训练一些相当大的卷积神经网络。虽然在数百万个示例上训练非常大的神经网络是一项艰巨的任务并且需要大量的处理能力,但并非所有机器学习都基于深度学习,并且许多算法在 GPU 加速时运行得非常快。

人工智能领域广阔,总有小规模研究和探究的空间。人工智能的实用性是关键,但潜在的应用范围很广,而智能是一个频谱。

Fundamental Combinatronics 是一个目前没有资金的集体,它正在从事一个项目,为一组面向消费者的组合游戏产品开发“自适应人工智能”。这些要求与实际应用不同。

我们在资源方面无法与主要玩家竞争,在机器学习和神经网络方面我们迟到了,而且由于人工智能是面向消费者的,手机游戏在以下方面有很大的限制边界合理性(不能假设网络;软件容量以兆字节为单位;内存仅限于具有非专用处理器的最低公分母消费级设备。)由于这些原因,我们正朝着与当前行业趋势相反的方向发展——古老的“无聊的东西”。

因为自动机只需要胜过平均/高于平均水平的人类玩家,一种老式的启发式方法是可行的。(也很有趣,因为它涉及在组合博弈论的意义上解决非平凡的、党派数独游戏,这是一种完全独立的研究。虽然上下文最终是难以处理的,但它是一个非常适合的上下文自动机。) -school 是有益的,因为它有一个很好的应用程序产品,其 AI 小于 7mb。 (没有下载障碍或从设备中删除的强烈动机。虽然新 iPad 高达 128GB,但只有一小部分玩家愿意为强大的 AI 投入大量资金,这些玩家代表了一个独特的二级市场细分.) 对于 AI 占用的体积超过给定产品的严格要求,这并不是最佳选择。

在今天被认为是严格的计算限制下,模糊逻辑在适用性方面的效率也应该是有用的。

[M] 游戏是经济的,因此从博弈论的角度来看,该模型很有趣,它提供了一种新颖、紧凑、内在和高度可变的数学模型,该模型基于n维中的位置评估以及因果/时间框架中的稳定性状态。[M] 的组合性质非常适合定量分析,游戏涉及阻塞因素(数独)和对称性破坏(偶数游戏板)。对于玩家 > 2 联盟也成为一个因素。

目前程序研究的重点是四个主要领域,也就是我们所说的“自适应人工智能”:

动态力量: 纯粹的力量不是目标。我们正在研究能够根据人类玩家的实力和偏好来调整他们的实力的 AI。对于大多数人来说,我们不希望自动机赢得超过 2/3 的比赛,因为总是输 是没有乐趣的,并且会使产品不那么“粘”。即使人类玩家想要一个它无法击败的自动机,自动机也应该足够强大,几乎总是打败他们的人类。AI 强度可以通过限制理性(时间和内存)来限制,这带来了能量守恒的额外好处(更少的比特翻转),但是基于规则的方法是有用的,因为可以组合重组规则以产生不同强度的自动机和喜好。自动机相互竞争以确定强度层次结构,并识别较差的启发式算法以从更强大的自动机中剔除。

通用智能: 自动机必须在一系列相关游戏中发挥作用,其中平衡可以通过多种方式改变,而无需添加机制。此外,可以在不改变游戏性质的情况下添加机制,例如引入希腊拉丁方格。如果每个配置都必须通过密集的自我游戏来学习,这就带来了一个问题,因为自动机必须能够立即以可观的强度进行游戏。因此,目标不是纯粹的力量,而是在最广泛的背景下保持一致的力量。(“相当弱”和“半强”自动机具有实用价值,因为可以说这些分类描述了大多数人类玩家群。)这个想法是一种“公理智能”,可以扩展到包括不断增加的数组的上下文。

反直觉: 自动机不应该容易重复播放。最初,我们使用有限的蒙特卡罗来进行位置选择平局,并且范围可以扩展到具有不同程度感知最优性的更大位置阵列,直至理性但“违反直觉”的决策,随后可以对其进行评估. 这可能有助于适应新出现的主导策略,这些策略允许自动机尝试不太明显的选择。在自动机持续获胜的情况下,有尝试的动机,“投资于损失”,从经验/学习的角度来看,错误是有用的。

“基因”进化: 最终的目标是实现某种形式的局部强化,其中自动机通过与人类的比赛来学习,并在有限的环境中进行自我比赛,例如在与人类比赛时的回合之间。启用网络后,自动机可以与此类自动机对战,其想法是产生具有人类游戏特征的强大自动机。(当我们最终将这些自动机与具有不同数学属性的广泛 [M] 上下文中的纯深度学习算法进行对比时,这将很有趣。我的钱将用于顺序游戏中的 ML 和 NN 算法,但在异步游戏中没有轮流顺序,看看“公理系统”是否可以通过比更智能、更复杂的自动机更快地做出合理决策来产生理想的结果,这将很有趣;)