什么是“反向传播”?

人工智能 神经网络 反向传播 术语 定义
2021-10-30 22:23:32

“反向传播”是什么意思?“反向传播”一词与“反向传播”基本相同还是有不同的含义?

4个回答

“反向传播”与“反向传播”相同:它只是一种更短的说法。它有时缩写为“BP”。

“反向传播”是“错误反向传播”的缩写,以避免在使用反向传播术语时产生混淆。

基本上,反向传播是指计算案例误差函数相对于前馈网络Werbos权重的梯度的方法。反向传播是指一种使用反向传播来计算梯度的训练方法。

所以我们可以说一个反向传播网络是一个通过反向传播训练的前馈网络。

“标准反向传播”术语是广义 delta 规则的委婉说法,它是最广泛使用的监督训练方法。

资料来源:什么是反向传播?在 Usenet 新闻组 comp.ai.neural-nets 的常见问题解答

参考:

  • 韦尔波斯,PJ (1974)。超越回归:行为科学中预测和分析的新工具。博士论文,哈佛大学。
  • 韦尔波斯,PJ(1994 年)。反向传播的根源:从有序导数到神经网络和政治预测,Wiley Interscience。
  • Bertsekas, DP (1995),非线性规划,马萨诸塞州贝尔蒙特:Athena Scientific,ISBN 1-886529-14-0。
  • Bertsekas, DP 和 Tsitsiklis, JN (1996),神经动态规划,马萨诸塞州贝尔蒙特:Athena Scientific,ISBN 1-886529-10-8。
  • Polyak, BT (1964),“加速迭代方法收敛的一些方法”,Z. Vycisl。垫。我在。菲兹,4,1-17。
  • Polyak, BT (1987),优化简介,纽约:优化软件公司。
  • Reed, RD 和 Marks, RJ, II (1999),Neural Smithing:前馈人工神经网络中的监督学习,马萨诸塞州剑桥市:麻省理工学院出版社,ISBN 0-262-18190-8。
  • Rumelhart, DE, Hinton, GE 和 Williams, RJ (1986),“通过错误传播学习内部表示”,在 Rumelhart, DE 和 McClelland, JL 编辑。(1986),并行分布式处理:认知微观结构的探索,第 1 卷,318-362,马萨诸塞州剑桥市:麻省理工学院出版社。
  • Werbos, PJ (1974/1994),反向传播的根源,纽约:John Wiley & Sons。包括 Werbos 1974 年的哈佛博士学位。论文,超越回归。

是的,正如弗兰克所说的那样,“反向传播”是指反向传播,它经常用于神经网络领域的误差优化。

对于详细的解释,我会通过 Michael Nielsen 的一本非常好的书指出这个关于反向传播概念的教程

这是多变量链式规则的一个花哨的名称。