在深度学习中，推理指的是神经网络的一次前向传播过程，然后从中得到输出结果的过程。我们可以将标准的卷积换成可分离卷积来减少计算量，也可以通过剪枝、量化和模型冻结等方式来减少很多推理时间。

macs(Multiply–Accumulate Operations)原本是硬件方面的指标，不过近年来深度学习模型运算速度也会经常出现，我们可以使用torchprofile进行计算。 这里我直接使用

本文介绍AI模型适用于小型本地设备上的方法技术：压缩模型参数量，设计更小的模型结构，知识蒸馏，调整数据格式，数据复用等，并介绍移动小处理设备的类型、适用移动设备的模型框架等。

在人工智能技术不断深入发展的今天，我们对于计算的性能要求越来越高。随着数据的指数式增长，依靠云侧的计算已经显现了诸多不足，例如数据处理的实时性、网络条件制约、数据安全等，因此端侧的推理则愈发重要。