nlp
2篇文章 · 0订阅
  • [源码解析] PyTorch分布式优化器(3)---- 模型并行
    本系列介绍分布式优化器，三篇文章分别是基石篇，DP/DDP/Horovod之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。本文介绍PyTorch 分布式优化器和PipeDream。
    PyTorch 机器学习 人工智能
  • Transformer各层网络结构详解！面试必备！(附代码实现)
    1. 什么是Transformer 《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热…
    机器学习