Megatron框架论文解析
5篇文章 · 0订阅
  • [源码解析] 模型并行分布式训练Megatron (5) --Pipedream Flush
    NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型。本文将看看 Megatron 如何给流水线各个阶段安排执行执行序列。
    深度学习 机器学习 人工智能
  • [源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行
    Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3。
    深度学习 机器学习
  • [源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现
    NVIDIA Megatron是一个基于PyTorch的分布式训练框架，用来训练超大Transformer模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3。
    深度学习 机器学习
  • [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
    NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT
    深度学习 机器学习
  • [源码解析] 模型并行分布式训练Megatron (1) --- 论文&基础
    Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3。
    机器学习 深度学习