rins

Megatron-LM 通过模型并行的方式，允许训练具有数千亿参数的模型。该框架综合应用了数据并行、张量并行和流水线并行来训练像 GPT这样的大型模型...