猛猿

在上篇介绍中，通讯负载不均的优化我们解释过了，但还遗留了一个显存开销问题：数据并行中，每个GPU上都复制了一份完整模型，当模型变大时，很容易打爆GPU的显存，那要怎么办呢？

今天我们来介绍一种应用最广泛，最易于理解的并行范式：数据并行。 数据并行的核心思想是：在各个GPU上都拷贝一份完整模型，各自吃一份数据，算一份梯度，最后对梯度进行累加来更新整体模型。

本篇文章将探索流水线并行，经典的流水线并行范式有Google推出的Gpipe，和微软推出的PipeDream。两者的推出时间都在2019年左右，大体设计框架一致。主要差别为：在梯度更新上，Gpipe是

一文详细图解Swin Transformer架构，探索移动窗口attention、patch merging、patch partition等技术细节

对比扩散模型DDPM，配合详细的图例，具象化地数学原理解读，带大家从博弈论双人游戏的视角，重新了解一次GAN

在CV大模型系列中，我们介绍了扩散模型的运作原理介绍了Transformer架构下做CV任务的方法，也介绍了多模态大模型CLIP。有了这么多的前置知识，今天，我们终于可以来一探文生图模型的奥秘了。

MoCo v1（Momentum Contrast，v1版），一种在CV任务上，通过对比学习(contrast learning)做无监督(unsupervised)训练的方法

本文将介绍，如何基于Transformer架构，借鉴Bert的基本思想，做基于像素级别的图像重建任务。

在这篇文章中，我们将来解读OpenAI提出的多模态模型：CLIP。它是多模态领域的经典之作，后续也作为基础模型在DALLE2，Stable Diffusion中起到重要作用