全连接神经网络和卷积神经网络都使用反向传播进行训练。

你说的对，都是前馈神经网络，也就是说神经网络中的连接从左（输入）开始，向右（输出）移动。但是，它仅在推理期间前馈。在训练期间，即当你试图为手头的任务找到神经网络的权重/偏差时，你必须使用反向传播。

训练有前传和后传。推理只有前向传递。

此外，当我们说前馈时，它意味着网络中没有环路。L1->L2->L3->L4 以此类推。但是，如果你看到循环网络，它们有像 L->L->L->L 这样的循环

一般来说是的。我没有收到任何人使用不同算法的消息。数学与全连接层相同。只有神经网络的架构不同。

是的，反向传播总是用于优化。该算法需要调整权重和偏差以最小化成本函数。但在计算机代码中，不必明确地这样做。像 tensorflow 这样的包具有用于优化的内置函数。

卷积层的存在是为了理解图像的“结构”。但是在几个这样的层之后，需要的特征被提取出来，并使用了一个全连接层。全连接层就像普通的神经网络层（不是 CNN），每个节点都可以影响下一层的每个节点。

据我说，为了微调参数/权重，我们必须需要一个优化器。优化器用于通过调整参数权重（也称为系数）来优化成本的反向传播技术。

决策树、KNN 等一些算法不适用于权重调整原理，并且此类算法不需要优化器。