首页
首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
machine_gun_lin
掘友等级
学生
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
15
文章 15
沸点 0
赞
15
返回
|
搜索文章
最新
热门
深度学习框架 —— 分布式训练
现在深度学习的模型结构越来越大,参数动不动都是上亿甚至上千亿,这也对训练模型的资源量有很高的要求,显然单个机器上要训练这么大的网络是不现实的,因此学术界和工业界自然开始研究用分布式训练。也就是将一个机
深度学习编译器后端和运行时
编译器前端将用户代码解析得到计算图 IR,并且做了一些和计算设备无关的通用优化。编译器后端做的优化就和具体的设备有关了(不同设备有不同的 allocator,不同的编程模型,比如英伟达的 CUDA),
深度学习编译器前端技术概述
AI 编译器在前端经常会做一些静态分析,方便在前端做一些优化:自动微分等。 中间表示(Intermediate Representation, IR) IR 是编译器用于表示源代码的数据结构或代码,是
计算图的生成
主流机器学习框架都支持动态图和静态图。 动态图是即时编译的,也就是有一个 op 和输入之后立即发 kernel 执行计算得到结果并返回。 静态图是获取到整个程序结构之后构建了计算序列之后再进行计算的,
计算图
机器学习程序从前端到后端需要编译成不同的 IR 来获得更好的优化性能,在 mlsys 中这个 IR 就是计算图。 对机器学习程序描述的调度执行、自动更新模型所需的梯度都需要依赖计算图。 一个计算图的逻
机器学习工作流
机器学习框架通常提供高层语言(比如 Python)作为给用户使用的接口,在 Python 层用户可以做的事有: 数据处理:从不同的数据源读取数据,还可以做预处理,比如增强; 模型定义: 通常会定义一个
机器学习框架的基本组成
编程接口:一般用 Python 作为给用户的接口,主要原因就是简单易用、生态好; 计算图:计算图定义了用户的机器学习程序,比如有哪些 op、有哪些输入、输入长什么样、计算序列如何等,对于不同的编译器后
机器学习框架的目标
神经网路编程 神经网络需要一个共同的系统进行开发、训练和部署。 自动微分 训练神经网络的过程本质上是模型参数的迭代,这些参数需要持续计算梯度(Gradients)迭代改经。梯度的计算往往需要结合训练数
升级 python 导致的坑
编译 tvm 或者其他项目发现 cmake 版本 3.16 太低了(应该是 MegBrain 默认的版本),cmake 换到高版本发现 python 3.6 版本太低了(Ubuntu 18.04 的默
机器学习编译(一):概述
机器学习编译的目标 Integration and Dependency Minimization. 集成与最小化依赖. 部署应用需要集成必要的元素,我们希望部署应用的时候尽可能减小应用的大小。 Le
下一页
个人成就
文章被点赞
6
文章被阅读
33,961
掘力值
1,393
关注了
19
关注者
4
收藏集
11
关注标签
33
加入于
2017-10-05