Collective Operations
- Broadcast：将一个节点上的数据广播到集群内所有的节点
- Scatter： 将数据的进行切片再分发给集群内所有的节点
- Gather：可以在集群内把多个节点的数据收集到一个节点上
- Reduce：在集群内把多个节点的数据规约运算到一个主节点上，规约操作例如求和、取最大值或取最小值等
- AllReduce：其在集群内的所有节点上都执行相同的Reduce操作，可以将集群内所有节点的数据规约运算得到的结果发送到所有的节点上
- ReduceScatter：将所有的节点上的数据先规约（比如SUM求和）到1个节点上，再进行分片scatter到集群内的所有节点上
- AllGather：把多个节点的数据收集到一个主节点上（Gather），再把这个收集到的数据分发到其他节点上（broadcast），即收集集群内所有的数据到所有的节点上
