前段时间把一个扩散模型推理框架从 CUDA 移植到了国产 NPU,顺手把三个推理加速特性补齐了。 过程中踩的坑比预想的多,有些还挺有普适性,记下来。 以下都是自己的踩坑记录,代码为示意。
一、先说清楚:扩散模型为什么慢,三个方向各治什么
扩散模型出图是"迭代去噪"——一张图要跑几十步,每一步都要把整张图完整过一遍模型(通常是 Transformer 结构,参数量几十亿)。
所以优化就三个思路:
方向一:少算几步(缓存复用)
相邻两步的输入差异很小,输出自然也很接近。既然上一步算出来的还基本适用,这一步能不能直接拿来用?
判断方法:每步先只算第一层(最便宜的一层),拿它的输出和上一步比。差异低于阈值就跳过剩余所有层,直接复用上一步结果;差异大就老老实实算完。
业界同类做法有 TeaCache、DeepCache、FBCache 等,思路大同小异,区别在"用什么信号判断要不要跳"。
收益:单卡就能提速,通常 1.3~1.7 倍,画质损失很小。
方向二:把活分给多张卡(序列并行)
一张图在模型内部会被切成很多小块(序列),把它分给多张卡同时算,算完再拼起来。
听起来简单,实际要处理两件事:切分后每张卡只算了一部分,注意力计算需要拿到完整信息;以及各卡之间的通信开销能不能被计算掩盖。
收益:加卡就变快,但通信量随卡数增长,卡越多边际收益越低。
方向三:用低精度换空间(量化)
模型里的数字原本 16 位存,压到 8 位——权重占的显存直接减半,搬运成本也降低。
低精度格式有两种常见选择:
- INT8:均匀量化,量程固定
- FP8:浮点量化,有指数位,动态范围大得多
收益:显存减半,速度提升 1.1~1.5 倍,代价是画质轻微损失。
这三种可以叠加,分别管"省计算""省时间""省显存"。
二、移植时踩的五个坑
下面这些坑不分平台,只要你在异构硬件上跑大模型,大概率也会遇到。
坑 1:算子悄悄退回 CPU,报的却是通信错误
现象:多卡一启动就报通信初始化失败。单独测通信(点对点、集合通信、子组)全部正常。
排查过程:逐层排除——张量形状、dtype、显存、端口、设备编号……最后发现注意力计算的输出张量躺在 CPU 上。
根因:框架默认指定了某个注意力后端(mem-efficient),厂商的 PyTorch 适配层里没实现这个后端,于是静默回退到 CPU 计算。CPU 算完后张量留在 CPU,下一步要参与多卡通信时,通信库拿不到设备侧指针,报了个看起来像"网络配置错误"的东西。
教训:异构平台上的报错位置,往往离真正的问题很远。先查数据在哪张设备上,比顺着错误信息找更有效。判断方法很简单:在报错点之前打一行 tensor.device,很多时候一眼就看出来了。
坑 2:第三方高性能库静默算错,跑完不报错
现象:用某个第三方序列并行库跑多卡,40 步跑完,不报错,但出的图和单卡完全是两张。
排查过程:一开始怀疑切分逻辑、怀疑通信、怀疑数值精度。最后做对照实验——把"库算出的注意力输出"和"只用本地数据(不通信)算出的输出"逐元素比,发现完全相等。
也就是说:这个库根本没通信,它只算了本地那一份。
根因:那份实现里有个条件判断漏了前置条件,本该在"非因果注意力"下走通信分支,结果走进了"已算完"的分支;而且它从头到尾没做 softmax 统计量的合并——各分块的中间结果就这么被丢掉了。
教训:第三方高性能实现,不能只验证"能跑",必须验证数值。方法很简单:构造一个小输入(比如序列长度 64),把它的输出和朴素实现的输出逐元素对比。误差应该在 bf16 精度量级(千分之一),如果差到 10% 以上,基本可以确定是逻辑错了而不是精度问题。
📎 这次排查的完整过程、根因分析,以及一份可直接复用的验证脚本,我单独写成了一篇:《第三方并行库"静默算错":一次 ring attention 的排查记录》
坑 3:多卡时各卡"想法不一致",直接挂死
现象:开了缓存之后,多卡跑着跑着整个进程卡住不动,不报错、不退出、显存和算力都不动。
根因:缓存的跳过决策是按卡独立判断的。A 卡觉得"这步差异小、可以跳",就直接跳到下一步;B 卡觉得"差异大、得算",还在算。下一步两边要交换数据时,A 卡已经在等了——但等错了对象,于是死锁。
单卡永远遇不到这个问题,多卡必现。
解法:决策算出来后,先在参与并行的卡之间做一次"取最大值"的同步——只要有一张卡认为该算,所有卡就都算。
if dist.is_initialized() and world_size > 1:
diff = all_reduce_max(diff) # 全卡投票
skip = diff < threshold
教训:任何带条件分支的优化,在多卡环境下都要问一句"各卡的判断会不会不一致"。不一致 + 集合通信 = 死锁。
坑 4:低精度不是"支持 / 不支持",而是"参数对不对"
现象:一开始判断"这个硬件不支持 FP8 矩阵乘",退而求其次做了 INT8 版本,结果精度惨不忍睹(相似度只有 0.79)。
真相:硬件完全支持 FP8。问题在于调用时的缩放系数——形状必须是 1 维、类型必须匹配特定组合(权重用 int64、激活用 float32,或者反过来,取决于算子分支)。传错了就报"不支持该数据类型",很容易被误读成"硬件不支持"。
排查方法:不要只看接口报错,去看算子信息库——厂商提供的工具包里通常会有一份 JSON,列着每个算子支持哪些 dtype 组合、哪些 shape 约束。翻一遍比试十次都快。
顺带一个结论:这个模型上 INT8 只有 0.79,FP8 能到 0.94 左右,差了一个量级。原因是有几层的激活存在极端离群值,int8 的均匀量程被拉爆之后,其余数值全被压成 0;FP8 有指数位,动态范围跨好几个数量级,扛得住。扩散模型的激活离群值很常见,选 FP8 比 INT8 稳。
坑 5:你比对的"标准答案",本身可能是过期的
现象:单卡怎么调都差一点点,始终够不到目标线。反复怀疑自己哪里写错了。
排查过程:翻上游项目的提交记录,发现参考图是半年前生成的,之后上游有三处改动会改变输出结果(图像预处理的滤波器、调度器的末端参数、VAE 的分块解码)。
也就是说:拿现在的代码去比那张图,在任何平台上都不可能完全一致——换回 CUDA 也一样。
把这三处改动逐个回退后,相似度从 0.66 提升到 0.94 左右。
教训:做移植或者性能优化时,"我和参考结果有差距"的第一反应通常是"我错了"。但先花十分钟验证参考结果本身是否可信,可能省下几天。具体做法:
- 看参考产物(图/文件)的生成时间,对比代码的提交历史
- 找那些"会改变数值"的提交(预处理、随机数、算法参数)
- 逐个回退验证,看分数怎么变化
三、几条通用经验
1. 先做能力探测,再写代码
不要假设"这个平台的某个功能应该能用"。花半天写个探测脚本,把需要的算子、通信原语、数据类型挨个试一遍,产出一张"能用 / 不能用"的清单。后面所有设计都基于这张清单,比边写边试快得多。
我当时写了二三十个小脚本,覆盖点对点通信、集合通信、子组、不同 dtype、不同张量形状、显存压力等。看起来很笨,但正是这些脚本把"通信故障"的假象排除掉的。
2. 用"自比"验证,而不是死磕参考结果
跨平台移植时,你没法证明"和原平台逐位一致"。可行的替代方案是自比:同一台机器、同一个种子,开特性和不开特性各跑一遍,比两次输出的相似度。
这个指标衡量的是"这个优化到底改变了多少输出",不依赖任何外部参考值,比对着过期的基准图调参靠谱得多。
前提是确保结果是确定性的——同一配置重跑两次必须完全一致。如果不一致,说明有别的不确定源(随机种子、并行归约顺序、非确定性算子),得先解决这个。
3. 定位问题分三层:单算子 → 单卡 → 多卡
- 单算子层:这个算子在这台机器上算得对不对?和朴素实现比。
- 单卡层:整条链路跑通吗?结果确定吗?
- 多卡层:切分和通信对不对?各卡行为一致吗?
跳过任何一层都会导致后面白忙。我遇到的"通信报错"实际是单算子层的问题,"多卡挂死"实际是决策一致性的问题——如果一开始就在多卡层死磕,永远找不到。
4. 优化要设"两段式"参数
任何激进的优化(跳步、剪枝、低精度)都要加两个保险:
- 热身:前若干步不做优化,因为早期的变化最大,省下来的代价也最大
- 限制累积:比如"最多连续跳 2 次,第 3 次必须真算",防止误差一路滚雪球
只调阈值不加上这两个约束,很容易出现"加速看起来很猛、画质崩了"的情况。
四、小结
扩散模型的推理加速,思路本身不复杂——少算、分摊、降精度。真正难的是在异构硬件上把这三件事做对,而难点往往不在算法,在于:
- 错误信息会骗人(坑 1)
- 第三方实现不一定对(坑 2)
- 多卡会放大所有不一致(坑 3)
- "不支持"可能只是参数没传对(坑 4)
- 你的标准答案可能是错的(坑 5)
如果这篇文章能让你在遇到类似问题时少绕一个弯,就值了。
文中代码为示意,非实际实现。