在神经网络的上下文中，反向传播（使用它的全名是梯度下降）和 Levengerg Marquardt 都是更广泛的梯度下降算法家族的成员。反向传播本身不是梯度下降，而是更广泛的梯度下降算法的梯度爬升部分。

您可以将神经网络的功能想象为从输入到输出的函数。例如，如果您试图解决一个回归问题，您可以在多维空间中想象这个问题，每个训练点对应于其输入和输出值（每个都代表一个维度）提供的坐标。然后你用于学习这个回归问题的整个训练集成为这个多维空间中的一组点，你的神经网络执行的函数是这个多维空间中的一条曲线。这条曲线越接近训练集上的点，它在回归问题上的表现就越好，这实质上意味着我们可以将训练神经网络的任务推广到曲线拟合问题。