大模型

0、背景 随着深度学习模型规模的爆炸式增长，单设备内存无法承载完整模型的训练需求。传统数据并行在模型参数量超过单卡内存时会失效，模型并行应运而生，它将模型拆分为多个子模块，分布在不同设备上协同计算。模