如此处详述,打破多台机器/线程上的 NN 训练的方法是将训练数据集分解为多个块并发送到每个节点,然后将结果汇总回主节点。
有一些图书馆已经实现了这些技术吗?在每个节点上安装代理?
TensorFlow和PyTorch都支持分布式训练。