神经网络推理加速入门

大家好啊，我是董董灿。 前几天写了一个卷积神经网络（CNN）中，卷积和加法融合的文章。有同学发私信，希望写一个带代码版本的，方便更好的理解。 我的第一反应是，代码版本的咋写，有那么多细节。后来一想，其

大家好啊，我是董董灿。 神经网络的优化除了之前提到的一些硬件优化手段之外，还有很多图层方面的优化手段。 而且图层方面的优化，有时效果更佳。往往一个有效的优化，甚至可以“消除”掉一个算子的存在。 这里的

大家好啊，我是董董灿。 做优化有时候真的很头疼，绞尽脑汁的想怎么做算法等价，怎么把神经网络各层指令流水起来，在确保整网精度的同时，又有高性能。 但有时做了半天，却发现流水根本就流不起来，总是莫名其妙地

大家好啊，我是董董灿。 今天介绍两个在做神经网络性能优化中，非常非常重要的概念——吞吐和延时。 其实不光在做神经网络性能优化时会用到，在计算机网络的性能调优时，这两个概念也会被反复提到，可见其重要性。

大家好啊，我是董董灿。 这篇文章，会从软件的角度来介绍一个常用的AI加速方法。 循环展开 如果要我说一个最简单，最有效的，并且人人都能学会的程序优化方法，我估计会投票给Unrooling（译为：循环展

大家好啊，我是董董灿。 计算机冯诺依曼架构下一个特点，就是存储和计算分离，这会带来一个问题，那就是计算机有时会遇到存储墙，也就是存储带宽不够导致的性能下降。 如果说流水技术可以为此破局，那么其实还有一

大家好啊，我是董董灿。 这篇简单介绍一个概念——异构编程。 上一篇一个例子看懂流水——从指令到算法用一个生活中的小例子，介绍了流水这一概念。在计算资源有限的情况下，我们可以通过软件的流水技术来提升程序

大家好啊，我是董董灿。 之前的两篇文章介绍了流水这一技术，它用来进行程序的性能加速，本篇通过一个生活中的小例子，让大家更直观的了解什么是流水。 举个例子 早晨从起床到上班出门，我们一般会做以下几件事：

导 读 AI模型运行在计算机上，除了需要消耗大量的计算资源外，还需要大量的内存以及带宽用来存储和搬运数据。 在如今一个模型动辄几千亿个参数的情况下，模型运行的性能变得越来越重要，对计算机硬件的需求也水

​大家好啊，我是董董灿。 这是通俗易懂的神经网络推理加速入门第4篇。 本篇介绍一个计算机中的部件——存储器，看完之后，你将了解存储器是什么以及存储器在AI计算中的作用。 在介绍之前，先说一个我今天早晨

大家好啊，我是董董灿。 前言 刚毕业的时候在青岛某信任职，做嵌入式软件开发，需要调试电路板。公司有个要求是所有新入职的员工，都要去公司自己的加工厂上两周的班，亲自组装生产电路板，体验产品生产的过程。

大家好啊，我是董董灿。 今天开始，增加第一个专栏，作为AI推理加速的专栏，主要写一写在神经网络推理过程中的一些加速方法。 先从计算机底层原理说起。先说几个基础概念。 计算机存储和计算的分离 第一是计算