反向传播和预测编码有什么区别?

人工智能 神经网络 机器学习 反向传播 比较
2021-10-22 13:38:54

阅读反向传播预测编码的高级描述,它们听起来并没有那么大的不同。这些技术之间的主要区别是什么?

如果这有助于解释解释,我目前正在阅读以下论文:

用于视觉运动学习的基于预测编码的深度动态神经网络

1个回答

我会说这些概念是完全不同的,即使它们可能有一些共同点(或者可能是模糊相关的)。

反向传播是一种算法(在机器学习中)用于计算函数相对于其参数的梯度。然后这个梯度被算法使用,比如梯度下降,来更新模型的参数(例如神经网络)。

粗略地说,预测编码是关于大脑如何构建外部世界的内部模型、如何使用其当前的外部世界模型持续预测(来自世界)感觉输入以及它如何构建外部世界的一般(神经科学)理论。一旦实际接收到感官输入,就会更新这个内部模型。

您可以将 ML 模型在训练时(使用梯度下降和反向传播)的输出视为与输入相关联的预测。但是,请注意,模型的输出通常不是对实际输入的预测,而是例如一个标签(尽管如此,它与输入相关联)。此外,产生输出的是模型而不是反向传播算法(即使反向传播算法经常用于训练此类模型,例如神经网络)。我们可以将反向传播视为更新与输入相关的这些预测的方式,但无论如何,众所周知(并且接受)我们的大脑不执行反向传播,但我们以关联方式学习(Hebbian学习)。