罗西的思考

本文我们主要来看看ParameterServerStrategy如何分发计算，也就是ClusterCoordinator如何运作。这是TF分布式的最后一篇。...

对于 ParameterServerStrategy V2，本文主要看看如何使用，如何初始化。在下一篇之中会重点看看如何分发计算。...

本文我们看看 ParameterServerStrategy，就是第一版代码。研究这个是因为目前工业界还有很多公司在使用，而且其内部机制也比较清晰易懂，值得我们分析。...

本文我们来看看 MirroredStrategy 如何运行。具体希望了解的是，MirroredStrategy 通过什么方式在远端设备节点上运行训练方法（如何分发计算）。...

MirroredStrategy 策略通常用于在一台机器上用多个GPU进行训练。其主要难点就是：如何更新 Mirrored 变量？如何分发计算？本文我们看看其总体思路和如何...

在 TensorFlow 之中，分布式变量是在多个设备上创建的变量。Mirrored variable 和 SyncOnRead variable 是两个例子。本文就对分布...

我们接下来介绍TensorFlow分布式Strategy的基础，本文会先看看Strategy的类体系和如何处理数据，下一篇看看如何处理变量。...

本文以两篇官方文档为基础来学习TensorFlow如何进行分布式训练，借此进入Strategy世界。...

在 TF 分布式模式之中，Send/Recv 通过 RpcRemoteRendezvous 完成数据交换，所以我们本文来看看 TF 之中的数据交换机制 Rendezvous...

前文中，Master 在流程之中先后调用了 gRPC 给远端 worker 发送命令，本文我们就来看看 GrpcWorkerService 如何处理。...

我们需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本文会从 Client 开始，看看 Master 如何对计算...

会话机制是TensorFlow 分布式运行时的核心，我们接下来按照从 Client 到 worker 的流程，把 Session 机制从前到后走一遍。...

在具体介绍分布式各种Strategy前，我们需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。我们接下来介绍缓存机...

在具体介绍TensorFlow分布式的Strategy之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，本篇介...

在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清...

在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清...

读论文有一种原则是：本领域最经典的论文，近5年最热的论文，近1年最新的论文。按照此原则，本文介绍一篇经典论文 Implementation of Control Flow ...

本系列我们开始分析 TensorFlow 的分布式。本文主要介绍一篇 TensorFlow 经典论文。大家如果读了下面论文就会发现 TensorFlow分布式的博大精深。...

9篇文章后，我们基本把 HugeCTR 的训练过程梳理了下，现在我们有必要看看HugeCTR如何进行推理，这可以从整体上有一个更好的把握。而且我们之前都是分析分布式训练，此...

HugeCTR 是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。本文介绍 LocalizedSlotSparseE...