大模型训练开源框架

Transformers (Hugging Face) Transformers是由Hugging Face开发的最广泛使用的NLP库之一，提供了预训练模型的访问和微调功能。 提供了数百种预训练模型的

简介 PyTorch 分为 torch.nn.parallel.DataParallel (DP) 和 torch.nn.parallel.DistributedDataParallel (DDP)。

参考链接 概览 简介 DeepSpeed是一个由微软开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合