acmore

Horovod 为Uber开源的一个分布式训练框架，支持主流的机器学习框架（Tensorflow, PyTorch及MxNet）。本文主要是基于版本v0.21.1介绍Horovod的核心实现，以及与各个框架的集成。 Horovod的工作流程比较简单，有一个消息队列接收AllRe…