前向传播与后向传播与反向传播

数据挖掘 神经网络 梯度下降 反向传播
2022-01-29 12:03:54

如问题中所述,我在理解这些术语之间的区别时遇到了一些问题。

据我了解:

1)前向传递:给定输入数据计算网络的输出

2)后向传递:计算相对于预期输出的输出误差,然后返回网络并使用梯度下降 ecc 更新权重...

那么什么是反向传播呢?是前两个步骤的组合吗?还是我们用来计算 dE/dw 的特定方法?(链式法则……)

2个回答

简而言之,反向传播引用了使用预测值和实际值之间的差异来拟合所用方法的超参数的想法。但是,为了应用它,总是需要之前的前向传播。所以,我们可以说反向传播方法应用前向和后向传播,顺序和重复。

您的机器学习模型从随机超参数值开始,并使用它们进行预测(前向传播)。然后在调整这些随机初始值(反向传播)时与实际值进行比较,试图最小化误差(取决于您的目标函数和应用的优化方法)。然后,它会重新开始,直到达到停止标准。

您可能会在这个问题中找到更好的解释

此外,您将在此处找到更多主题说明

狭义的反向传播仅指梯度的计算。例如,它确实不包括任何权重的更新。但通常它用于指代整个后向传递。

另见维基百科