技术干货

PyTorch 系列继续更新啦~PyTorch 源码解读之 BN & SyncBN：BN 与 多卡同步 BN 详解

本篇笔记以介绍 pytorch 中的 autograd 模块功能为主，主要涉及 torch/autograd 下代码，不涉及底层的 C++ 实现。本文涉及的源码以 PyTorch 1.7 为准。