分布式训练

上次我们了解了DDP的原理和multiprocessing启动的数据并行，这次我们介绍用更流行的torchrun方式启动数据并行。可以简单的理解为torchrun是mp方式的进一步的封装。

这次我们一起学习下分布式的基础内容——基于Distributed Data Parallel (DDP)的单机多卡数据并行，包括其核心的Ring-All-Reduce通信模式原理、例子和详细代码实现。