使用张量网络作为机器学习模型

人工智能 神经网络 机器学习
2021-11-13 22:14:58

张量网络(查看这篇论文以获得评论)是一种最初在凝聚态物理学中引入的用于模拟复杂量子系统的数值方法。粗略地说,这样的系统是由一个非常高维的张量来描述的(其中指数采用许多值随系统成分的数量呈指数增长),并且张量网络提供了后者作为外积和许多收缩的有效表示低维张量。

最近,一种特定类型的张量网络(在物理学中称为矩阵乘积状态)通过所谓的张量训练分解在机器学习中发现了有趣的应用(我不知道在这种情况下精确的规范参考,所以我将避免引用任何内容)。

现在,在过去的几年里,物理学界的一些作品似乎推动了张量网络在机器学习中的普遍使用(参见这篇论文第二篇第三篇以及这篇文章来自 Google AI 的上下文)。作为一名物理学家,我很高兴得知最初为物理学设计的工具可能会找到跨学科的应用。然而,与此同时,我的批判性思维告诉我,从机器学习研究社区的角度来看,这些结果可能看起来并不那么有趣。毕竟,机器学习现在是一个非常成熟的领域,它可能需要的不仅仅是对新机器学习模型的建议和对微不足道的数据集(如 MNIST 数据集)的基本基准测试——这就是论文在我谦虚中所做的基本工作意见 - 以吸引该地区的任何注意力。此外,据我所知,关于机器学习的张量分析技术(例如张量分解)已经存在相当多的知识,这可能会让人怀疑其贡献的原创性。

因此,我很想知道机器学习专家对这一研究方向的看法:这真的是一个有趣的研究方向,还是只是用一个不那么严肃的提议来应对当前的机器学习炒作?

1个回答

我不愿意宣布我将成为机器学习专家。但我想指出,在机器学习环境中应用张量网络确实很有趣。让我在下面强调三个特定的设置。

它们可用于找到类似于SINDy 算法的动力系统背后的控制方程。原因是您的系统的动态可能不是稀疏的,但可能确实具有低秩结构。(有关稀疏和低秩结构的比较,请参阅本文,有关为什么低秩矩阵经常出现在大数据中的讨论,请参阅本文。)对 SINDy 的修改是适当命名的MANdy算法但是如果你的动力学定律表现出额外的结构(尽管是低秩的),那么这个结构就不会被使用。(要求您收集不必要的样本。) 这项工作通过允许您指定您希望您的法律展示的结构来解决这个问题。

另一个感兴趣的领域是张量网络作为一种压缩手段的应用。张量网络可用于逼近多元函数。直接(参见本文本文了解更多详情)或通过表示它们的高维系数张量(参见例如此处)。最后一篇论文还强调了此类函数可能出现的位置:求解随机或参数 PDE 时。“这与机器学习有什么关系?” 你可以正确地问。这些偏微分方程很难求解,并且通常比应用 Galerkin 方法更容易使残差最小化。结果可以被证明是等价的,概率很高。(见这篇论文证明这个陈述和应用到一些随机偏微分方程或这篇论文应用到最优控制问题。)

此外,还有张量补全的问题——将矩阵补全推广到更高维度。这个这个是算法的参考。)这些方法在数据科学中找到了应用,它们可以用来分解或去噪数据。(不幸的是,我没有参考示例,但我记得一个演示文稿,其中这些方法用于 EEG 信号。)

此外,我最近发现这个有趣的研讨会涵盖了张量网络在机器学习中的更多潜在应用: https ://itsatcuny.org/calendar/quantum-inspired-machine-learning