大家好啊，我是董董灿。 今天开始，增加第一个专栏，作为AI推理加速的专栏，主要写一写在神经网络推理过程中的一些加速方法。 先从计算机底层原理说起。先说几个基础概念。 计算机存储和计算的分离 第一是计算

最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。

FlashAttention V1目的不是节约FLOPs，而是减少对HBM的访问。重点是FlashAttention在训练和预测过程中的结果和标准Attention一样，对用户是无感的，而其他加速方法

Flash Attention V2过外循环修改为 Q,可以很好的,避免 warp 之间的通信,利用高速缓存,进一步降低 HBM 的访问次数,同时有效的调整归一化补偿算法,节省 1D 算力,提升整体性

FlashAttention-3 基于 H100 利用硬件新特性的优化方案，在 H100 GPU 上通过 FP16 实现 1.5-2.0 倍的加速，达到 740 TFLOPs/s（利用率 75%），