PR 和理论上都有效

尽管 Anima Anandkumar 的演示对 NVidia 来说是一个吹捧，但她的表述并不违背理论。

... 下一个级别 [在 NVidia 的 GPU 成功之上] ... 意味着新的算法研究。所以，如果你考虑一下我们深度学习系统中的当前计算，它们都是基于线性代数的。我们能不能想出更好的范式来做多维处理。我们能否在我们的张量核心中实现真正的张量代数技术，这将实现什么样的新架构？

张量

张量是函数和向量概念的扩展。出现的向量允许将相同类型的多个变量封装到一个单元中，以表达位置或力等多维属性。不封装多个变量的变量称为标量。当这种多维属性是函数而不是变量的组合，因为它们的值取决于其他变量，它们就是向量场。

为了在数学中更清晰地模拟电磁和重力，需要更高级别的变量和函数封装。因此，标量变量和返回标量变量的函数是一 (1) 阶张量。向量和向量场是二阶 (2) 的张量，更高的秩是由标量和向量创建的模式的扩展。包含函数的矩阵可以表示为三阶 (3) 的张量，将其元素封装到一个单元中。

数字处理与集成趋势

CUDA 内核是当前一代 NVidia GPU（图形处理单元）中使用的信号处理单元，可用于生成二维或三维渲染，或用于通过人工网络生成并行处理信号。这是遵循将算法执行中最重要的瓶颈委托给数字电路的趋势。VLSI（超大规模集成）技术是这一趋势的必然结果。

• 具有测试和分支的工业和军用计算器在继电器机架上运行
• 用管子增加速度，用打孔卡加载程序
• 使用晶体管、磁芯存储器和纸带降低功耗并提高可靠性和速度
• 主板上的集成电路与乙烯基胶带
• 学生手持可编程计算器
• 带磁盘的微处理器
• 浮点、数字信号和图形处理器以扩展微处理器
• 多核（在单个基板上重复大规模电路图案）
• 重新利用和扩展图形渲染电路，将人工网络计算卸载到 GPU

有了所有这些，速度、尺寸、节能和便利并没有真正改变从诺伯特·维纳、克劳德·香农、艾伦·图灵、约翰·冯·诺依曼等人开始的原始范式。事实上，从这些先驱者的观点来看，计算仍在以多种方式迎头赶上，距离在 VLSI 中产生科学中的通用概念还有很长的路要走。软件是解决方案，这就是为什么它被称为软，意思是灵活的，不一定是弱的。然而，灵活性牺牲了速度和能力，因此有上述趋势。

并行计算挑战

Anima Anandkumar 的部分内容是，当前 VLSI 处理器中的信号路径仍然是比数学家、物理学家和 AI 工程师的想法低得多的抽象级别。科学理论在比当前数字电路更高的水平上描述了概率、统计分布、期望、力、损失、增益、痛苦、奖励、记忆、动量、语义、组合和相关性。

顺序算法的使用及时展开可能是大规模并行操作。串行算法限制了处理速率。在数学中寻找并行处理事物的方法可以用铅笔来完成。在计算机中，并行算法和寻找在某些方面与软件一样灵活的 VLSI 形式的并行处理结构更具挑战性，因此远远落后。

这是半个世纪以来至少有 20 个大型企业和政府实验室研究的焦点问题，也是 VLSI 从一开始就有的意图。这项工作并不特定于 NVidia。这不是一个新问题，解决它的方法一直沿用这种范式。

• 在头脑中添加抽象和封装。
• 用数学来表达。
• 将其编写为串行算法，利用可以利用 VLSI 并行性或计算集群的编程语言和库支持的任何并行结构。

过去 70 年的计算机器发展使硬件、操作系统和软件更接近于 20 到 200 年前的数学表达式水平。这可能会改变，每个人都想乘风破浪。

Anima Anandkumar 和她在 IBM、英特尔、谷歌、微软、美国海军、亚马逊、阿里巴巴和其他公司和政府实验室的同事没有说明（因为它是机密的或公司机密的）他们打算做什么来促进计算的并行化。无论他们沿着这些特定路线做什么，都不会是范式转变，而是沿着当前范式的下一步。

进入企业战略

他们也不会说明他们可能正在做的事情不在那个范式中。他们被限制在没有理论实质的情况下只给出提示。如果他们正在开发一种芯片，该芯片可以展示人类大脑在神经元根据基于 DNA 的倾向生长和连接时所展示的内容，他们不会以技术上精确的方式这么说。公司保密是全球经济游戏的一部分，而不是倾诉。他们有他们的游戏面孔。

从线性转变为非线性的想法是一个很好的公共关系主题，当用于粉扑时，它并不是最终的技术性主题。音高通常沿着这条线。

他们所做的非常线性。我们正在进入一个非线性空间。

它试图声称所做的事情是原始的，即将改变游戏规则的进步来自演讲者和他们的人民。有时，它可以使可交易证券的价值暂时上涨，这是该公司在撰写本文时所需要的。如果游戏有真正的变化，到时候发布就知道了。那些在实验室工作多年的人都知道要等到发布一些东西来证明，当示例代码配置和运行时，实际发生了什么游戏变化（如果有的话）。或者他们自己开发了改变游戏规则的东西，这就是为什么它是一个实验室。

即使在数学中也存在“线性”的歧义

另请注意，曲线仍然是线，并且术语线性可能意味着两件事，具体取决于上下文。

1. 符合线性方程$\vec{Y} = V \vec{X}$, 这样它就可以绘制成直线、平面或更高维度的平面，具有恒定的梯度且没有曲率。
2. 符合线性代数的原理，包括空间、特征值、高阶多项式回归，以及许多涉及变化梯度和曲率的结构。

预测范式转变

在观看科技公司公关一段时间后产生的怀疑并不一定否定过去改变游戏规则的技术进步和未来的潜力。任何开源项目团队、个人、公司或政府实验室都可能会做一些改变范式的事情，通常需要几年时间。经典例子：

• 绳索
• 车轮
• $F = m a$
• 氧气（空气不是元素）
• 电磁学
• 交流电能量传输
• 相对论
• 内燃
• 收音机

计算示例：

• 信息论
• 控制论
• 第一个晶体管
• LISP 和 FORTRAN
• C 和 UNIX
• TCP/IP

转变不需要像这些转变那样深远和改变游戏规则才能产生影响。人工智能概念、信息结构、算法、执行环境谁将成为下一个，并不是一件很容易预测的事情。考虑那些生活在上述任何一个之前的人，并试着想象他们试图预测艾萨克·牛顿、安托万·拉瓦锡、迈克尔·法拉第、尼古拉·特斯拉、诺伯特·维纳、克劳德·香农、肯·汤普森、丹尼斯·里奇或其他任何人的项目是下一次范式转变的种子。

对模拟人工网络、神经形态硬件、语义建模、图算法和其他潜在的游戏规则改变者进行了研究，每一个都有令人印象深刻的概念基础，并在此处的一些问答中进行了讨论。这是几个。

• 哪些拓扑在机器学习中很大程度上未被探索？
• 新奇搜索突变算法
• 可以训练深度网络来证明定理吗？
• 如果数字值仅仅是估计，为什么不回到模拟的人工智能呢？
• 市售的神经 IC 是数字的吗？

其中哪些可能指向范式转变的开始，尚不得而知，即使最初在此处发布或从此处引用的想法是种子，以后也可能不知道。多层感知器可能是 2090 年由自动驾驶汽车主导的未来街道和高速公路的种子，但在 70 年内，没有人会意识到 AV 研究的趋势是由本世纪第一个十年的 MLP 热情播种的.

有待填补的空白和 NVidia 是一个竞争者

除此之外，我们每天都使用 NVidia 硬件进行机器人技术和分析，因此它们具有过去成功的可信度。如果他们在英特尔或 IBM-MIT 合作之前生产出一种非常聪明的芯片，那将是一个小小的惊喜，但并非完全令人难以置信。当然，对希尔伯特空间、语义和拓扑的理解在计算机科学领域是有限的，而向对它们或今天甚至不是数学思想的一部分的新事物的更大理解的范式转变将为计算行业增加一些必要的多样性.