Kestrel_VLLM - 39 · 先量占比再动内核:x64 的 Q4 点积回退判否

47 阅读9分钟

39 · 先量占比再动内核:x64 的 Q4 点积回退判否

一句话:build_x64.ps1 头部挂过一条「x64 没有 AVX2 内核、Q4 点积走标量回退」的开放项,看着像个待办 —— 先量一句「它占多少」,答案是 0.086%–0.13%;即便把点积做到零耗时,也只能从 ~63–93 ms 的 x64 自检里抠掉 < 0.1 ms,于是判否。 前置:第 21 篇(收益区间实测界定 —— 同一条「门禁先于实现」的纪律)、第 13 篇(两个被判否的优化 —— 判否也是结论)。 环境:x86-64 · MinGW-w64 gcc(-O2 -mavx2 -mfma -ffp-contract=off)· 出厂自检档。

一、问题与结论

build_x64.ps1 头部挂过一条「开放项」:L3 的 Q4 点积在非 NEON 平台没有 AVX2 内核,走标量回退。看起来像个待办 —— 写个 AVX2 版不就完了?

动手之前先问一句:这条回退到底占多少? 答案是 0.086%–0.13%。即便把点积做到零耗时,也只能从 ~63–93 ms 的 x64 自检里抠掉 < 0.1 ms。

本篇记两件事:怎么量出一个「占比」(一个不能逐次计时的量),以及量错分母时怎么自己发现。

结论数值判定
判定判否;收益 ≈ 0 ⇒ 不做这条 AVX2 候选实测
l3_q4_dot64() 在 x64 的标量回退占比0.086%–0.13%(分母取出厂档实测)实测
q4_dot64_scalar 单次23.9 ns/call(2,000,000 次)实测
一次 clock_gettime 读数开销25–40 ns实测
可达性g_l3_evict / g_sparse_attn 默认关实测
处置(用户裁定,2026-10-02)该候选 = 🚫 不做(设计决定)——

要点:

  1. 判否。l3_q4_dot64() 在 x64 走标量回退,占比 0.086%–0.13%(分母取出厂档实测)。收益 ≈ 0 ⇒ 不做。
  2. 方法上刻意不逐次计时。一次 clock_gettime 约 25–40 ns,与一次 64 元素点积(实测 23.9 ns)同量级 ⇒ 逐次计时会把「读数开销」测成「点积耗时」,结论会反向。改用 「调用计数 × 同函数微基准」。
  3. 可达性:g_l3_evict / g_sparse_attn 默认关 ⇒ 默认跑模型(含 _q4ref64 位级对拍)根本不调用它;唯一调用者是 --test-l3 / --test-sparse。
  4. ★ 一处自纠:初稿的分母取自插桩档的 Measure-Command,而插桩档在 atexit 里跑了 2 × 2,000,000 次微基准(≈96 ms)被一并计入 ⇒ 分母虚大、占比被低估。改用出厂档 3 次实测并落盘后,结论(≈0)不变。
  5. 命中一个「不能读字面」的坑:vllm_l3.c:23 明写这是单平台化的有意删除(「不再保留 AVX2 分支」),不是遗漏 —— 也就是说,那条「开放项」本身措辞就不该留在脚本头里。
  6. 处置(用户裁定,2026-10-02):该候选 = 🚫 不做(设计决定);台账改状态、脚本头那条「开放项」措辞已删除并加结案注,避免后来者再当待办立项。

二、背景

build_x64.ps1 头部的措辞是「L3 Q4 点积无 AVX2 内核走标量回退」。它读起来像缺陷,但它没有分母 —— 没写这条回退在整条路径里占多少。

x64 侧的定位很清楚:README 写明x64 不作性能基准,L3 / 稀疏这两条路也默认关。在这种前提下,「给一个默认关的路径补一个向量内核」的期望收益,只可能来自它自己那条自检的墙钟。所以唯一有意义的量是:

点积耗时 ÷ 该自检的出厂档总墙钟。

三、核心机制与做法

3.1 方法:为什么不能逐次计时

被测量的对象是 l3_q4_dot64() —— 在非 NEON 平台走 q4_dot64_scalar()(一次 64 元素点积)。它的分发与标量实现就长这样:

/* 文件名:src/core/vllm_l3.c —— 非 NEON 平台的标量回退与分发 */
/* Scalar reference dot (also the non-NEON fallback on x86;x64 的 AVX2 版
 * 该候选已结案「不做(设计决定)」—— 占比与判据见规格,此处不嵌数字)。 */
static float q4_dot64_scalar(const uint8_t *payload, const float *act) {
    float sum = 0.0f;
    float scale_a, scale_b;
    memcpy(&scale_a, payload, 4);
    memcpy(&scale_b, payload + 20, 4);
    for (int i = 0; i < 16; i++) {
        uint8_t b = payload[4 + i];
        sum += (float)((int)(b & 0x0F) - 8) * scale_a * act[i * 2];
        sum += (float)((int)((b >> 4) & 0x0F) - 8) * scale_a * act[i * 2 + 1];
    }
    /* ... 后 32 个元素同构,用 scale_b ... */
    return sum;
}

float l3_q4_dot64(const uint8_t *payload, const float *act) {
#if ST_HAVE_NEON
    return l3_q4_dot64_neon(payload, act);
#else
    return q4_dot64_scalar(payload, act);   /* ← x64 走这里 */
#endif
}

如果逐次 clock_gettime:

量量级
一次 clock_gettime 读数开销25–40 ns
一次 64 元素标量点积23.9 ns(微基准实测)

同量级 ⇒ 你量到的几乎全是读数开销,而且它随调用次数线性增长、恰好长得像「点积很慢」。结论会方向性错误。

所以改成 「调用计数 × 同函数微基准」:

  1. 在既有的 VLLM_L3_PROF 插桩上临时扩 dot_calls / vacc_calls 计数器 —— 只数调用了几次;
  2. 在进程退出时跑同一个函数的微基准(2,000,000 次)—— 拿到单次成本;
  3. 两者相乘 = 点积总耗时;分母取出厂档自检墙钟。

★ 两个细节:

  • 微基准的载荷用真 pack,避免 NaN / denormal 让微基准量偏;
  • 探针测完即回滚(出厂源码不留插桩),证据只留日志。

3.2 可达性:默认路径根本走不到

开关默认位置
g_l3_evict关vllm_safetensors.c:2604
g_sparse_attn关vllm_safetensors.c:2510

这两个全局开关就是那条路径的总闸:

/* 文件名:src/model/vllm_safetensors.c —— 两个默认关的开关 */
int g_sparse_attn  = 0;   /* 0 = exact attention (default) */
/* ... */
/* Phase 2: L3 cold-block Q4 disk eviction (see vllm_l3.h). g_l3_evict is the ... */
int   g_l3_evict = 0;     /* 0 = L3 eviction disabled (default) */

⇒ x64 默认跑模型(含 _q4ref64 位级对拍)根本不调用它;唯一调用者是 --test-l3 / --test-sparse。

(★ 初稿把前者的文件名写成 vllm_l3.c:2604 —— 文件名错:vllm_l3.c 只有 1601 行,两个全局都在 vllm_safetensors.c;行号 2604 本身是对的。)

3.3 一个「不能读字面」的坑

更关键的是 vllm_l3.c:23 那条注释:

/* 文件名:src/core/vllm_l3.c:23 */
/* 单平台(RK3588/aarch64):Q4 点积内核走 NEON,不再保留 AVX2 分支。 */

这里是单平台化的有意删除(「不再保留 AVX2 分支」),不是遗漏。

⇒ 那条「开放项」的措辞本身就不该留在脚本头里 —— 后来也据此把它删掉并加了结案注:

# 文件名:tools/build/build_x64.ps1 —— 头部结案注(节选)
# ★ 「x64 Q4 点积加 AVX2 内核」已**结案为「不做(设计决定)」**:
#   实测该内核在 x64 自检里占比仅 0.086%~0.13%(--test-l3 52~74ms / --test-sparse 10~19ms),
#   且 g_l3_evict / g_sparse_attn **默认关** ⇒ x64 默认路径根本不调用它;
#   单平台化时该 AVX2 分支是**有意删除**的(src/core/vllm_l3.c:23)。**不要再当待办立项。**

四、实测数据

(本机 x64,MinGW -O2 -mavx2 -mfma -ffp-contract=off。)

项实测日志
q4_dot64_scalar 单次23.9 ns/call(2,000,000 次)l3_prof.log / sparse_prof.log
l3_q4_vacc64 单次20.4 ns/call同上
--test-l3:调用数 / 点积总耗时258 次(vacc 257)/ 0.011 msl3_prof.log
--test-l3:总墙钟(出厂档)52–74 ms(3 次:73.6 / 52.3 / 53.0)w5_wall.log
--test-sparse:调用数 / 点积总耗时2880 次 / 0.069 mssparse_prof.log
--test-sparse:总墙钟(出厂档)10–19 ms(3 次:19.1 / 11.3 / 10.4)w5_wall.log

占比(分母取出厂档 3 次实测):

  • 最保守(用最小分母 52.3 + 10.4 = 62.7 ms)⇒ 0.13%;
  • 用最大分母(73.6 + 19.1 = 92.7 ms)⇒ 0.086%。

⇒ 区间 0.086%–0.13%。即便 AVX2 把点积做到零耗时,也只能从 ~63–93 ms 的自检里抠掉 < 0.1 ms。

4.1 一处自纠:分母取错了档

本节初稿把分母写成 97.8 / 18.6 ms,来源是插桩档的 Measure-Command。这是错的:

插桩档在 atexit 里跑了 2 × 2,000,000 次微基准(≈96 ms),被 Measure-Command 一并计入了墙钟 ⇒ 分母被虚大 ⇒ 占比被低估。

改用出厂档 3 次实测(落盘 w5_wall.log)后,占比从「更小」回到 0.086%–0.13%。结论(收益 ≈0 ⇒ 不做)不受影响 —— 量级仍在 0.2% 以内。

教训:分母必须与被解释的对象同档。「用插桩档的墙钟去除以出厂路径的收益」是两笔账。

五、边界与已知限制

  • 只在 x64 自检口径下成立:README 明确 x64 不作性能基准;这里的占比是「自检墙钟里的占比」,不是端到端推理占比。
  • 只针对这一条回退:结论不覆盖其它平台/其它内核的向量化候选。
  • 单次微基准有抖动:23.9 ns/call 是 2,000,000 次的均值,波动受频率/降频影响;但量级差异(25–40 ns 读数开销 vs 23.9 ns 点积)足以否定逐次计时。
  • 判否是设计决定,不是能力不足:AVX2 分支是单平台化时有意删除的,不是遗漏。

CPU 对照(迁移前基线)

  • CPU 参考:kestrel-llm/src/core/vllm_l3.c:l3_q4_dot64(分发)/ q4_dot64_scalar(标量参考)—— L3 的 Q4 点积;本条即该 CPU 实现本身(x64 缺 AVX2 时走标量回退)。
  • 迁移要点:无 CUDA 内核(x64 CPU 题):判定不给 x64 补 AVX2 内核,复用「先量占比再动内核」纪律 —— 回退占比仅 0.086%–0.13%,收益 ≈0。
  • 真机验证:命中 E7(kestrel-llm --test-l3 PASS(0))。单次微基准(23.9 ns/call)与占比区间为历史探针读数,该路径默认关。

六、小结

  1. 「待办」必须先有分母。一条「某处没做向量化」的措辞不构成立项依据;先把它在真实路径里的占比量出来。本例里,占比 0.1% 直接终结了一个候选。
  2. 不能逐次计时的量,用「计数 × 微基准」。当读数开销与被测对象同量级时,逐次计时会给出方向性错误的结论;计数 + 同函数微基准能绕开它 —— 但分母必须同档(见 4.1)。
  3. 「默认关」的路径要先确认它到底会不会被走到。g_l3_evict / g_sparse_attn 默认关 ⇒ 默认路径根本到不了那条回退,收益只存在于它自己的自检里。
  4. 源码注释也要读字面。vllm_l3.c:23 明写「有意删除」,而头部那条「开放项」措辞与之矛盾 —— 结案时把措辞一并改掉,避免后人再立项。

相关篇目:第 21 篇(收益区间实测界定 —— 同一条「门禁先于实现」的纪律);第 13 篇(两个被判否的优化 —— 判否也是结论);第 37 篇(三条工具链纪律 —— 不产生错答案、却腐蚀「判断对错的能力」)。 源码与配套资源:本仓库 gitee.com/pei-xiaogua…; CPU 推理源码 gitee.com/pei-xiaogua…