Kestrel_VLLM - 43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染

0 阅读12分钟

43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染

一句话:批量 prefill 接上了、位级等价、端到端 2.39×,但门默认关;要默认化,先得拆掉一个契约 —— 设备要求块宽严格等于 mdl_mmax,于是尾巴(n % mm)退回逐 token、n < mm 时整段回落(短 prompt 一点收益都拿不到)。这一轮把「块宽解耦」和「默认化」一次做完,落地期踩到两个坑:一个让程序段错误(变量遮蔽),一个让读数虚高一倍(一行诊断写在计时区里)—— 两个都不是靠更小心避开的,是诊断和编译器警告抓出来的。 前置:第 41 篇(prefill 批量化 —— 本轮的起点)、第 42 篇(M 上限 8→16)、第 37 篇(不可复现的构建与 SHA 的身份降级)。 环境:x86-64 + NVIDIA RTX 5090 · Qwen3.5-27B q4(hybrid)· CUDA 后端(阶段五)。

一、问题与结论

批量 prefill 接上了,位级等价、端到端 2.39× —— 但门默认关。

要默认化,先得拆掉一个契约:设备要求块宽严格等于 mdl_mmax,于是尾巴(n % mm)退回逐 token,n < mm 时整段回落(短 prompt 一点收益都拿不到)。

这一轮把「块宽解耦」和「默认化」一次做完。落地期踩到两个坑:一个让程序段错误(变量遮蔽),一个让读数虚高一倍(一行诊断写在计时区里)。两个坑都不是靠「更小心」避开的,是诊断/编译器警告抓出来的。收尾还连带同步了 3 处源码注释 —— 纯注释、零机器码变化,以及一次「真源表也会漂」的两轮审计。

结论数值判定
块宽解耦vc_mb_ensure 由 M == mdl_mmax 放宽为 2 ≤ M ≤ mdl_mmax实测
默认化门 VLLM_CUDA_Q35_MM 不设 ⇒ 16(默认开)实测
收益(H2)效应 38.06、配对极差 0.41 ⇒ 92.8× ≥ 5×(2.43×)实测
解耦直接收益MM=3 36.09 ms(1.808×)(对比第 41 篇同档 44.4 ms / 1.451×)实测
坑一变量遮蔽 ⇒ 段错误(0xC0000005)实测
坑二诊断落在计时区 ⇒ B 档墙钟 57.41 → 26.75 ms实测

要点:

  1. 一次做完两件事:
    • 块宽解耦:vc_mb_ensure 的 s->mdl_mmax != M(严格相等)→ 2 ≤ M ≤ s->mdl_mmax;分配改 per * mdl_mmax * 4(★ 行距本来就是 mdl_mmax)。引擎于是能按 min(mm, 剩余) 自适应取块。
    • 默认化:VLLM_CUDA_Q35_MM 不设 ⇒ 16(默认开);=0/=1 ⇒ 关;=2..16 ⇒ 指定;>16 夹 16。引擎与设备两侧同口径。
  2. 收益(H2):默认档 vs MM=0(关)3 轮交错:B 档 def 26.75/26.76/26.58、mm0 64.64/64.76/64.88 ms ⇒ 配对省 37.89/38.00/38.30 ⇒ 效应 38.06、配对极差 0.41 ⇒ 92.8× ≥ 5×(2.43×)。
  3. 解耦的直接收益(附带证据,非预登记):MM=3(n=5 ⇒ 3+2 两块都批量)干净读数 B = 36.09 ms(1.808×),明显优于第 41 篇同档的 44.4 ms / 1.451×(那时尾巴 2 枚走逐 token)。
  4. ★ 落地期抓到一个真 bug:st_q35_prefill_batch_try 把自适应的块宽命名为 int w —— 遮蔽了外层的权重指针 STModelWeights *w ⇒ st_emb_get(w, …) 把整数当指针 ⇒ AV(0xC0000005)。真因由编译器警告直接给出。
  5. ★★ 本轮最重要的方法论收获:[Q35-PF] 批量 prefill… 这行诊断是非缓冲 stderr 写,落在计时区之内 ⇒ B 档墙钟被污染(57.41 → 26.75 ms)。该教训已写进规格的计时规则 7。
  6. 收尾(同步 3 处注释):审计留记的 3 处源码注释同步为当前有效态 —— 纯注释、零机器码变化、kernels.cu 行数不变(8,328)。
  7. 两轮审计抓到的两条值得记:真源表也会漂(台账数字陈旧)、行号会随重建系统性漂移。

二、背景

第 41 篇把 batch prefill 接上了,但留了一个契约:设备要求块宽严格等于 mdl_mmax。这个契约有两个后果 —— 尾巴(n % mm)退回逐 token;n < mm 时整段回落。要默认化,就得先把这条契约拆掉,让引擎按剩余自适应取块;同时把门默认打开。

三、设计:块宽解耦 + 默认化

#改动为什么
1块宽解耦:vc_mb_ensure 由 M == mdl_mmax 放宽为 2 ≤ M ≤ mdl_mmax;分配改 per * mdl_mmax * 4让引擎按 min(mm, 剩余) 自适应取块 ⇒ 消除尾巴浪费与「n < 门值 整段回落」
2默认化:不设 ⇒ 16(默认开)类比第 40 篇的 graph 默认化;位级已由第 41 篇 P1/P1b 证
3引擎改自适应分块:bw = min(mm, n-pos),末块才要 logits;n 为奇数时最后一枚用单 token 收尾配合 ①
4工具 --mt/--rb/--spec 不改(它自己 putenv 设 MM)精度档语义不变

★ 一个关键细节:「行距本来就是 mdl_mmax」 —— 这就是为什么把「严格相等」放宽成「M ≤ mdl_mmax」是安全的(slab 的分配本来就按 mdl_mmax 做),而不是改了个数值就完事。

设备侧的契约放宽就落在这几行:

/* 文件名:src/npu/cuda/vllm_cuda_kernels.cu —— 惰性分配(块宽契约已放宽) */
/* 要求 2 <= M <= s->mdl_mmax(原为**严格相等**)—— 因为 vc_mb 的行距本来就是 mdl_mmax,
 * 且 vcuda_dev_model_step_m 的预检早就允许 M <= mdl_mmax;放宽后调用方可按块自适应取宽。 */
static int vc_mb_ensure(vc_dev_t *s, int M) {
    if (!s || M < 2 || M > s->mdl_mmax) return -1;
    if (s->d_mb) return 0;
    size_t per = 0;
    for (int i = 0; i < VC_MB_NREG; i++) per += vc_mb_width(s, i);
    if (per == 0) return -1;
    /* ★ 按 mdl_mmax(上限)分配,而不是本次的 M —— 行距是 mdl_mmax,必须容纳全部行。 */
    if (cudaMalloc((void **)&s->d_mb, per * (size_t)s->mdl_mmax * 4) != cudaSuccess) {
        s->d_mb = NULL; cudaGetLastError(); return -1;
    }
    return 0;
}

引擎侧的默认化与自适应取块:

/* 文件名:src/model/vllm_safetensors.c —— 门默认开 + 自适应块宽 + 变量名避坑 */
static int mm = -1;
if (mm < 0) {
    const char *e = getenv("VLLM_CUDA_Q35_MM");
    int v = (e && e[0]) ? atoi(e) : 16;      /* ★ 不设 ⇒ 16(默认开);=0/=1 ⇒ 关 */
    if (v > 16) v = 16;
    mm = (v >= 2) ? v : 0;
}
if (mm < 2) return -1;
/* ... */
fprintf(stderr, "[Q35-PF] 批量 prefill:n=%d mm=%d(自适应块宽)\n", n_tokens, mm);  /* 诊断:证明批量真的跑了 */
int pos = 0, last_w = 0;
/* ★ 变量名注意:块宽**不能**叫 w —— 那会遮蔽上面的权重指针 STModelWeights *w,
 *   于是 st_emb_get(w, …) 会把整数当指针解引用(落地当天实测:直接 AV)。故名 bw。 */
while (n_tokens - pos >= 2) {
    int bw = mm;
    if (bw > n_tokens - pos) bw = n_tokens - pos;   /* ★ 自适应:末块可以比 mm 窄 */
    /* ... 填 embedding、调 step_m;只有末块才要 logits ... */
    const int rc = st_q35_cuda_step_m(st->q35_cuda, bw, st->seq_len + pos, hM, hoM, is_last ? lgM : NULL);
    if (rc != 0) { /* 半推进:不自行回落,交外层 */ return -1; }
    pos += bw; last_w = bw;
}
st->seq_len += pos;      /* ★ 必须**先记账**再走尾巴,否则尾部的 forward 会读 seq_len==0 又 reset 一次 */
if (pos < n_tokens) for (int t = pos; t < n_tokens; t++) st_qwen_model_forward(st, token_ids[t]);

四、实测数据

#判据实测结论
H1 位级不变引擎四档:默认(不设 ⇒ 16)/ MM=5 / MM=3 / MM=0四档均 末token logits memcmp=0;续跑 8 步 全 0 ⇒ PASS;默认档打印 [Q35-PF] … n=5 mm=16;MM=0 档不打印(门关)✅
H1 工具档--mt M(M=2..16 逐档全跑)15 档全 等价 PASS(逐字节相同) + P1b 续跑 8 步 … memcmp=0✅
H2 收益可鉴别默认档 vs MM=0,同会话交错 3 轮,stderr 已抑制效应 38.06、极差 0.41 ⇒ 92.8× ≥ 5×(2.43×)✅
H3 资源默认档 d_mb 惰性分配per(381,760) × 16 × 4 = 24,432,640 B = 23.30 MiB ≤ 池 13,732 MB 的 0.178%✅
H4 关档零改动MM=0 全回归 8 项(走设备直连档)8/8 与 reg_g42.log 逐项相同✅
H5 台账订正门表 / P5 / 行号见台账✅

★ 推断 vs 实测(如实标):「默认档是 bw=5 单块」「MM=3 是 3+2 两块」是由源码推得(日志没有块宽行,只打印 n/mm);旁证是 H2 的默认档 B=26.75 ms ≈ MM=5 档 26.8 ms。

五、落地期两个坑

5.1 坑一:一个变量名让程序段错误

自适应的块宽顺手命名为 int w。问题在于外层已经有一个 w:

STModelWeights *w = &st->weights;   /* 外层 */
...
int w = min(mm, n - pos);           /* 内层:遮蔽了上面那个指针 */
st_emb_get(w, ...);                 /* 把整数当指针解引用 ⇒ AV */

症状:--test-q35-cuda 在打印 [Q35-PF] 批量 prefill… 后立即段错误(0xC0000005)。

定位过程(值得记,因为它是「现场探针」的一个范式):

  1. 用 pf_b2(VLLM_PFDBG2 直写文件,崩溃也不丢)做现场探针 —— 3 份 dump 均只有 emb0 <hash>、无 pre_step ⇒ 崩溃落在 emb0 写入之后、step_m 之前,即 embedding 那一行;
  2. 真因由编译器警告直接给出:warning: passing argument 1 of 'st_emb_get' makes pointer from integer without a cast;
  3. 修:块宽改名 bw(源码留了防再犯注释)。

教训:编译器警告别当噪音。这条 warning 是唯一直接指向真因的线索;「现场探针」负责把范围缩到一行,warning 负责点名。

5.2 坑二:一行诊断,把读数污染了一倍

[Q35-PF] 批量 prefill… 是第 41 篇加的诊断,形态是非缓冲 stderr 写。它落在 st_qwen_model_prefill_batch 的计时区之内。

本机实测:stderr 重定向到文件时每次写 2–30 ms(波动极大)⇒ 它把 B 档墙钟整段污染。

引导性对照(口径如实说):

口径B 档
带该写、stderr 落文件57.41 ms
stderr 打到 NUL(抑制)26.75 ms

★ 该对照同时改变了 MM(5 ↔ 16)与 stderr 去向。但在 fixture n=5 下 mm=5 与 mm=16 走的是同一个 bw=5 单块(抑制后两者 B 实测 26.82 vs 26.75 ms)⇒ 唯一实质变量是 stderr 去向。

识别过程(临时探针把该函数拆成 reset / embed / step 三段并落盘):

段读数对不上之处
reset0.03–0.06 ms—
step25.7–26.1 ms与工具档 --mt 5 的 25.8 ms 逐位吻合
「embed」9.4…114 ms与 5 次 st_emb_get 的逐次实测(各 0.004–0.012 ms,合计 ≈0.05 ms)对不上

⇒ 差额只可能来自同一窗口里的 fprintf(探针档每 chunk 共 6 行;出厂码只有 1 行)。抑制 stderr 后 B 立刻回到 26.75 ms。

★ 反向也说明旧读数没被系统性污染:抑制后 MM=5 得 2.43×,与第 41 篇的 2.39×、第 42 篇的 2.405× 一致。

结论:A/B 的计时必须在 stderr 被抑制(或至少不落慢速文件)的条件下取。已写进规格的计时规则 7。

六、收尾:3 处注释同步与两轮审计

6.1 3 处注释同步(零机器码)

本轮的终审抓出 3 处源码注释与「当前有效态」不一致,当时按先例留记不改;用户随后裁定「同步它们」 ⇒ 独立一轮只做注释:

#位置原状
①vllm_safetensors.c(调用方注释)原写「opt-in … 默认关 … 判据 P5」
②main.c(A/B harness 的 B 档说明)原写「内部按 M≤8 批量」「未开时回落」
③kernels.cu:6711原写「现放宽为 M <= mdl_mmax」漏下界

判据(O1–O3 先写死):

#判据结果
O1三处注释改后净增 0 行(kernels.cu 仍 8,328 行)✅
O2检索确认源码里再无「M≤8」陈旧表述、再无把门直接断言成「默认关」的注释✅
O3行为回归不变(H1 四档 + H4 8/8)✅

★ 口径声明(很重要):三处均为注释 ⇒ 机器码应逐字节不变;但 nvcc 的 COFF TimeDateStamp 使 SHA 仍变 ⇒ 「行为不变」由 O3 的实测回归支撑,不是靠「SHA 相同」。

6.2 两轮审计:真源表也会漂

  • 第二轮 MUST-1:台账里对应条目(本轮 H2)的数字仍是第一轮的旧值(38.03 / 0.81 = 47.0×),与落地记录及日志(38.06 / 0.41 = 92.8×)冲突 ⇒ 已改。★ 教训:真源表也会漂 —— 正文改了必须同步改表。
  • 第二轮 MUST-2:台账的行号取自 MUST-1 重建前的中间档(436,371 B),按最终档(436,795 B)系统性偏小 4 ⇒ 按本档逐符号回量重刷。
  • 第一轮 MUST-1:同文件另一处注释(kernels.cu 的「M 行批量前向」设计原则块)仍写「默认关」,与 env 门注释直接冲突 ⇒ 就地改写为「默认开」并重建。

两条可复用的:① 改了正文就必须改表(否则台账与正文自相矛盾);② 行号是「源码尺寸」的函数 —— 每次重建都可能整体漂移,不能沿用旧档的行号。

七、边界与已知限制

  • 默认已开(不设 VLLM_CUDA_Q35_MM ⇒ 16)⇒ 本轮首次改变默认行为;=0/=1 可显式关回逐 token。
  • 仍只覆盖 seq_len==0 && mrope_pos==0 的纯文本起点 prefill;其余一律回落(有意保守)。
  • 不做 M>16;decode 段仍逐 token;已退役的 M 行 graph 未重启。
  • 收益口径 fixture 是 T=5 ⇒ 端到端绝对值只代表短 prompt。(★ 这条口径缺口后来由 T=16 / T=64 两轮补上。)

CPU 对照(迁移前基线)

  • CPU 参考:model/vllm_q35_model.c:q35_model_prefill —— 逐 token / 批量 prefill 的 CPU 参考语义。
  • 迁移要点:块宽解耦(回到不变式「行距本就是 mdl_mmax」再放宽为 2≤M≤mdl_mmax);门默认化(不设 ⇒ 16);先记账 seq_len 再走尾巴;诊断语句不得落在计时区。
  • 真机验证:命中 E2(默认档批量 prefill)。2.43×/1.808×、变量遮蔽段错误与 timing 污染为历史读数,未在本机清单复现。

八、小结

  1. 放宽契约要回到「不变式」去证。「块宽必须严格相等」之所以能改成「≤」,是因为分配的行距本来就是 mdl_mmax。先找到那条不变式,再放宽。
  2. ★ 诊断语句也在被测窗口里的账。一行 fprintf(非缓冲、落文件)能吃掉整段计时。A/B 取数前先问:这窗口里还有没有非缓冲 I/O?
  3. 注释同步是独立工单。它不改机器码,但会让「源码 ↔ 有效态」重新一致 —— 代价是一次重建 + 一轮回归。是否值得做,是要裁定的。
  4. 变量名遮蔽是静默错的源头,编译警告是唯一的点名者。现场探针(崩溃也不丢的直写 dump)负责把范围缩到一行,warning 负责指出真因 —— 两者配合,比「更小心」可靠。

相关篇目:第 41 篇(prefill 批量化 —— 本轮的起点);第 42 篇(M 上限 8→16);第 37 篇(不可复现的构建与 SHA 的身份降级);第 44 篇(把口径从 T=5 推到 T=64)。 源码与配套资源:本仓库 gitee.com/pei-xiaogua…; CPU 推理源码 gitee.com/pei-xiaogua…