Pytorch
262篇文章 · 0订阅
  • [源码解析] PyTorch 分布式(2) --- 数据加载之DataLoader
    为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角度进行切入。本文介绍DataLoader。
    机器学习 深度学习
  • [源码解析] PyTorch 分布式(1) --- 数据加载之DistributedSampler
    为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角度进行切入。本文介绍DistributedSampler。
    深度学习 机器学习
  • [源码解析] PyTorch 流水线并行实现 (5)--计算依赖
    前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。
    深度学习 机器学习
  • [源码解析] PyTorch 流水线并行实现 (4)--前向计算
    前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据，本文我们结合论文内容来看看如何保证前向计算执行顺序
    机器学习 深度学习
  • [源码解析] PyTorch 流水线并行实现 (3)--切分数据和运行时系统
    前几篇文章我们介绍了 PyTorch 流水线并行的基本知识和自动平衡机制，本文我们介绍如何切分数据和运行时系统。
    机器学习 深度学习
  • [源码解析] PyTorch 流水线并行实现 (2)--如何划分模型
    上一篇文章我们介绍了 PyTorch 流水线并行的基本知识，本文我们介绍其自动平衡机制和 模型分割。
    深度学习 机器学习
  • [源码解析] PyTorch 流水线并行实现 (1)--基础知识
    本系列开始介绍PyTorch的流水线并行实现。实质上，PyTorch就是 GPipe 的PyTorch版本。
    机器学习 深度学习
  • [源码解析] Pytorch 如何实现后向传播 (3)---- 引擎动态逻辑
    前文我们提到了 autograd 引擎的静态架构，从本文开始我们从动态角度看看引擎如何实现动态逻辑。
    机器学习 深度学习
  • [源码解析] PyTorch 分布式之弹性训练(7)---节点变化
    本文分析PyTorch弹性训练如何处理节点变化。即对成员更改作出反应，并使用新的成员来重启所有workers，从而实现弹性训练。
    深度学习 PyTorch
  • [源码解析] PyTorch 分布式之弹性训练(6)---监控/容错
    关于PyTorch弹性训练，迄今为止我们已经分别介绍了 Agent 和 rendezous，但是有些部分并没有深入，比如监控，本文就把它们统一起来，对弹性训练做一个整体逻辑上的梳理。
    PyTorch 机器学习