大模型训练框架
5篇文章 · 0订阅
  • 大模型训练框架（五）Accelerate
    Accelerate是一个用于简化和加速深度学习模型训练的库，它支持在多种硬件配置上进行分布式训练，包括 CPU、GPU、TPU 等。
    面试 LLM AIGC
    大模型训练框架（五）Accelerate
  • 大模型训练框架（四）Megatron-LM
    Megatron-LM 通过模型并行的方式，允许训练具有数千亿参数的模型。该框架综合应用了数据并行、张量并行和流水线并行来训练像 GPT这样的大型模型
    面试 LLM AIGC
    大模型训练框架（四）Megatron-LM
  • 大模型训练框架（三）DeepSpeed
    DeepSpeed是由微软研究团队开发的一个深度学习优化库，旨在提供高效、可扩展的大规模模型训练能力。它通过采用先进的并行化策略、内存优化技术和混合精度训练来显著提高训练效率
    面试 LLM AIGC
    大模型训练框架（三）DeepSpeed
  • 大模型训练框架（二）FSDP
    FSDP 可以看作是微软 Deepspeed 框架中提出的三种级别的 ZERO 算法中的 `ZERO-3` 的实现。
    LLM AIGC 面试
    大模型训练框架（二）FSDP
  • 大模型训练框架（一）综述
    尽管 PyTorch 是一个非常流行的深度学习框架，它在动态计算图、易用性、灵活性和强大的社区支持方面具有许多优点 ，但在大模型训练方面，我们需要更专业的框架来满足特定的需求，最主要的原因是：`分布式
    面试 LLM AIGC
    大模型训练框架（一）综述