这些分布式优化方法背后的整个想法是数据应该在每个节点/工作人员中都是本地的。因此，如果您只将损失值发送到中心节点，则该节点无法计算此损失的梯度，因此无法进行任何训练。但是，如果您不想发送梯度，可以使用称为基于共识的优化的分布式优化算法系列仅将模型的局部权重发送到相邻节点，这些节点使用它们的局部梯度和来自的模型他们的邻居更新他们的本地模型。