machine_gun_lin

现在深度学习的模型结构越来越大，参数动不动都是上亿甚至上千亿，这也对训练模型的资源量有很高的要求，显然单个机器上要训练这么大的网络是不现实的，因此学术界和工业界自然开始研究用分布式训练。也就是将一个机

编译器前端将用户代码解析得到计算图 IR，并且做了一些和计算设备无关的通用优化。编译器后端做的优化就和具体的设备有关了（不同设备有不同的 allocator，不同的编程模型，比如英伟达的 CUDA），

AI 编译器在前端经常会做一些静态分析，方便在前端做一些优化：自动微分等。 中间表示（Intermediate Representation, IR） IR 是编译器用于表示源代码的数据结构或代码，是

主流机器学习框架都支持动态图和静态图。 动态图是即时编译的，也就是有一个 op 和输入之后立即发 kernel 执行计算得到结果并返回。 静态图是获取到整个程序结构之后构建了计算序列之后再进行计算的，

机器学习程序从前端到后端需要编译成不同的 IR 来获得更好的优化性能，在 mlsys 中这个 IR 就是计算图。 对机器学习程序描述的调度执行、自动更新模型所需的梯度都需要依赖计算图。 一个计算图的逻

机器学习框架通常提供高层语言（比如 Python）作为给用户使用的接口，在 Python 层用户可以做的事有： 数据处理：从不同的数据源读取数据，还可以做预处理，比如增强； 模型定义: 通常会定义一个

编程接口：一般用 Python 作为给用户的接口，主要原因就是简单易用、生态好； 计算图：计算图定义了用户的机器学习程序，比如有哪些 op、有哪些输入、输入长什么样、计算序列如何等，对于不同的编译器后

神经网路编程 神经网络需要一个共同的系统进行开发、训练和部署。 自动微分 训练神经网络的过程本质上是模型参数的迭代，这些参数需要持续计算梯度（Gradients）迭代改经。梯度的计算往往需要结合训练数

编译 tvm 或者其他项目发现 cmake 版本 3.16 太低了（应该是 MegBrain 默认的版本），cmake 换到高版本发现 python 3.6 版本太低了（Ubuntu 18.04 的默