Vowpal Wabbit (VW) 使用此处解释的在线标准化 [1]。

当使用多个 worker 运行 VW 时，worker 在每个 epoch 结束时将他们的模型与 AllReduce 同步。

是否有可能或是否有任何代码/论文探索在参数服务器设置中与多个工人进行在线学习的想法？

[1] https://arxiv.org/abs/1305.6646