首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
罗西的思考
掘友等级
架构,设计 @ 公众号 : 罗西的思考
关注
私信
获得徽章 0
动态
文章
专栏
沸点
收藏集
0
关注
赞
5
文章 5
沸点 0
资讯 0
赞
5
关注
返回
|
搜索文章
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式之 ClusterCoordinator
本文我们主要来看看ParameterServerStrategy如何分发计算,也就是ClusterCoordinator如何运作。这是TF分布式的最后一篇。...
赞
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式之 ParameterServerStrategy V2
对于 ParameterServerStrategy V2,本文主要看看如何使用,如何初始化。在下一篇之中会重点看看如何分发计算。...
3
1
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式之 ParameterServerStrategy V1
本文我们看看 ParameterServerStrategy,就是第一版代码。研究这个是因为目前工业界还有很多公司在使用,而且其内部机制也比较清晰易懂,值得我们分析。...
2
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式之 MirroredStrategy 分发计算
本文我们来看看 MirroredStrategy 如何运行。具体希望了解的是,MirroredStrategy 通过什么方式在远端设备节点上运行训练方法(如何分发计算)。...
6
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式之 MirroredStrategy
MirroredStrategy 策略通常用于在一台机器上用多个GPU进行训练。其主要难点就是:如何更新 Mirrored 变量?如何分发计算?本文我们看看其总体思路和如何...
7
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 之 分布式变量
在 TensorFlow 之中,分布式变量是在多个设备上创建的变量。Mirrored variable 和 SyncOnRead variable 是两个例子。本文就对分布...
10
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式 DistributedStrategy 之基础篇
我们接下来介绍TensorFlow分布式Strategy的基础,本文会先看看Strategy的类体系和如何处理数据,下一篇看看如何处理变量。...
5
评论
分享
罗西的思考
1年前
关注
[翻译] 使用 TensorFlow 进行分布式训练
本文以两篇官方文档为基础来学习TensorFlow如何进行分布式训练,借此进入Strategy世界。...
赞
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式环境(8) --- 通信机制
在 TF 分布式模式之中,Send/Recv 通过 RpcRemoteRendezvous 完成数据交换,所以我们本文来看看 TF 之中的数据交换机制 Rendezvous...
2
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式环境(7) --- Worker 动态逻辑
前文中,Master 在流程之中先后调用了 gRPC 给远端 worker 发送命令,本文我们就来看看 GrpcWorkerService 如何处理。...
5
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式环境(6) --- Master 动态逻辑
我们需要看看分布式的基础:分布式环境。只有把基础打扎实了,才能在以后的分析工作之中最大程度的扫清障碍,事半功倍。本文会从 Client 开始,看看 Master 如何对计算...
赞
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式环境(5) --- Session
会话机制是TensorFlow 分布式运行时的核心,我们接下来按照从 Client 到 worker 的流程,把 Session 机制从前到后走一遍。...
赞
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式环境(4) --- WorkerCache
在具体介绍分布式各种Strategy前,我们需要看看分布式的基础:分布式环境。只有把基础打扎实了,才能在以后的分析工作之中最大程度的扫清障碍,事半功倍。我们接下来介绍缓存机...
1
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式环境(3)--- Worker 静态逻辑
在具体介绍TensorFlow分布式的Strategy之前,我们首先需要看看分布式的基础:分布式环境。只有把基础打扎实了,才能在以后的分析工作之中最大程度的扫清障碍,本篇介...
1
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式环境(2)---Master 静态逻辑
在具体介绍 TensorFlow 分布式的各种 Strategy 之前,我们首先需要看看分布式的基础:分布式环境。只有把基础打扎实了,才能在以后的分析工作之中最大程度的扫清...
赞
评论
分享
罗西的思考
1年前
关注
[源码解析] TensorFlow 分布式环境(1) --- 总体架构
在具体介绍 TensorFlow 分布式的各种 Strategy 之前,我们首先需要看看分布式的基础:分布式环境。只有把基础打扎实了,才能在以后的分析工作之中最大程度的扫清...
1
评论
分享
罗西的思考
1年前
关注
[翻译] TensorFlow 分布式之论文篇 "Implementation of Control Flow in TensorFlow"
读论文有一种原则是:本领域最经典的论文,近5年最热的论文,近1年最新的论文。按照此原则,本文介绍一篇经典论文 Implementation of Control Flow ...
赞
评论
分享
罗西的思考
1年前
关注
[翻译] TensorFlow 分布式之论文篇 Large-Scale Machine Learning on Heterogeneous Distribute
本系列我们开始分析 TensorFlow 的分布式。本文主要介绍一篇 TensorFlow 经典论文。大家如果读了下面论文就会发现 TensorFlow分布式的博大精深。...
2
评论
分享
罗西的思考
1年前
关注
[翻译] NVIDIA HugeCTR,GPU 版本参数服务器 --(10)--- 推理架构
9篇文章后,我们基本把 HugeCTR 的训练过程梳理了下,现在我们有必要看看HugeCTR如何进行推理,这可以从整体上有一个更好的把握。而且我们之前都是分析分布式训练,此...
赞
评论
分享
罗西的思考
1年前
关注
[源码解析] NVIDIA HugeCTR,GPU 版本参数服务器 --(9)--- Local hash表
HugeCTR 是一个面向行业的推荐系统训练框架,针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。本文介绍 LocalizedSlotSparseE...
2
评论
分享
下一页
个人成就
优秀创作者
文章被点赞
470
文章被阅读
219,387
掘力值
9,119
关注了
2
关注者
235
收藏集
0
关注标签
0
加入于
2020-10-22