machine_gun_lin

现在深度学习的模型结构越来越大，参数动不动都是上亿甚至上千亿，这也对训练模型的资源量有很高的要求，显然单个机器上要训练这么大的网络是不现实的，因此学术界和工业界自然开始研究...

编译器前端将用户代码解析得到计算图 IR，并且做了一些和计算设备无关的通用优化。编译器后端做的优化就和具体的设备有关了（不同设备有不同的 allocator，不同的编程模型...

AI 编译器在前端经常会做一些静态分析，方便在前端做一些优化：自动微分等。 中间表示（Intermediate Representation, IR） IR 是编译器用于表...

主流机器学习框架都支持动态图和静态图。 动态图是即时编译的，也就是有一个 op 和输入之后立即发 kernel 执行计算得到结果并返回。 静态图是获取到整个程序结构之后构建...

机器学习程序从前端到后端需要编译成不同的 IR 来获得更好的优化性能，在 mlsys 中这个 IR 就是计算图。 对机器学习程序描述的调度执行、自动更新模型所需的梯度都需要...

机器学习框架通常提供高层语言（比如 Python）作为给用户使用的接口，在 Python 层用户可以做的事有： 数据处理：从不同的数据源读取数据，还可以做预处理，比如增强；...

编程接口：一般用 Python 作为给用户的接口，主要原因就是简单易用、生态好； 计算图：计算图定义了用户的机器学习程序，比如有哪些 op、有哪些输入、输入长什么样、计算序...

神经网路编程 神经网络需要一个共同的系统进行开发、训练和部署。 自动微分 训练神经网络的过程本质上是模型参数的迭代，这些参数需要持续计算梯度（Gradients）迭代改经。...

编译 tvm 或者其他项目发现 cmake 版本 3.16 太低了（应该是 MegBrain 默认的版本），cmake 换到高版本发现 python 3.6 版本太低了（U...

机器学习编译的目标 Integration and Dependency Minimization. 集成与最小化依赖. 部署应用需要集成必要的元素，我们希望部署应用的时候...

前言 Java8 在 Java 中通过lambda表达式、Stream API引入了函数式编程，那么 C++中是否也支持函数式编程呢？答案是肯定的。目前关于 C++进行函数...

C++11 之前使用默认初始化 C++11 之前对非静态数据成员初始化需要用到初始化列表。 有个问题是，如果类的数据成员比较多，我们又需要定制一些数据成员的初始化操作的时候...

类型别名（C++11） C++ 可以用 typedef 为很长的类型名 type-id 起个别名 identifier： 其中 type-id 是已有的类型名，identi...

从运行时断言谈起 在静态断言出现前，运行时断言已经存在很久了，我们可以使用 assert(expression) 在运行时进行断言。 运行时断言通常在 Debug 模式下使...

decltype 说明符（C++11） 使用起来也很简单： 运行结果： 相比 auto，decltype 除了可以推导表达式的类型，还可以用来推导类中的非静态成员变量的类型...

使用 auto 关键字自动推导变量类型（C++11） 来看一个例子： 运行结果： 可以看到效果是一样的，显然使用 auto 关键字推导复杂类型要比显示地写出来方便的多，而且...

命名空间的作用 来看一个例子： 运行结果： 这里使用 using 关键字打开了 S1 命名空间，所以 S1 的 foo 函数可以直接使用（而不用在前面加上 S1::），而调...

整数类型 long long（C++11） long long int 类型和 long long 等价， unsigned long long int 类型和 unsig...