分布式训练学习记录

Distributed Data Parallel 原理及应用 Distributed Data Parallel 原理 训练流程： Step1 使用多个进程，每个进程都加载数据和模型 Step2 各

Data Parallerl 原理与应用 Data Parrallel 原理 什么是数据并行 每个GPU里都存一份完整的模型，训练时每个GPU里的模型训练不同的数据 适用于单卡能够运行完整训练流程的情

分布式训练基础与环境配置 来源：【手把手带你实战HuggingFace Transformers-分布式训练篇】分布式训练与环境配置 什么是分布式训练 分布式(Distributed)是指系统或计算任