其他领域的反向传播

数据挖掘 反向传播 历史
2022-02-13 19:36:14

强大的技术有时会在不同的时间点被不同学科重新发现,因为特定的科学领域不会重叠或相互作用。

一些 ML 研究人员指出,反向传播 ( Rumelhart et al, 1986 ) 算法(信用分配的解决方案)已被许多领域重新发现。

在其他哪些领域使用反向传播?以哪些名字和在什么背景下?

1个回答

除了用于深度学习之外,反向传播还被用于许多其他领域,从天气预报到分析数值稳定性。事实上,该算法已经在不同领域被多次改造。通用的、独立于应用程序的名称是“反向模式微分” [3]

现代版本的反向传播,也称为自动微分,由 Seppo Linnainmaa [1]于 1970 年首次发表。他将其用作估计算术舍入误差对复杂表达式结果的影响的工具[2]

Gerardi Ostrowski 大约五年前在化学工程的某些过程模型中发现并使用了它[2]

六十年代,Hachtel 等人。考虑了电子电路的优化,使用初始值问题的 costate 方程及其离散化来计算显式时间相关问题的反向模式中的梯度[2]

其他发现它的研究人员包括 Bernt Speelpenning。当被要求为刚性 ODE [2]的雅可比行列式自动生成有效代码时,他通过编译器优化到达了反向模式

更多信息可以在:神经网络中的深度学习:概述谁发明了反向传播?以及其中的参考资料。

[1] 谁发明了反向传播?

[2] 谁发明了逆向分化模式?

[3] 计算图上的微积分:反向传播