大模型

背景 大模型计算中，往往会引入Padding操作处理不等长序列，但是这些Padding的token会引发冗余计算的问题，因此需要把Padding的内容丢掉，直接使用有效的token进行attentio

前置背景 在深度学习框架中，动态图和静态图是构建和执行模型的两种核心方式。随着Pytorch、TensorFlow、PaddlePaddle等框架的发展，动态图与静态图在功能、性能、可用性上的差异逐渐

0、背景 随着深度学习模型规模的爆炸式增长，单设备内存无法承载完整模型的训练需求。传统数据并行在模型参数量超过单卡内存时会失效，模型并行应运而生，它将模型拆分为多个子模块，分布在不同设备上协同计算。模