16GB 显卡跑 122.6GB 的 284B 模型:五种配置实测,65 到 31 tok/s

0 阅读35分钟

实测日期:2026-11-15 至 11-16 机型:RTX 5060 Ti 16GB(sm_120,驱动 621.24)+ 64GB DDR4-3600 + Windows 11 模型:Qwen3.8-Flash-Next(284B 总参 / 13B 激活) 引擎:Strata 0.2.13、Basalt v0.4.0

一、结论先行

同一台机器、同一个模型、同一段 prompt、同一套脚本,只换引擎和量化包:

配置包大小加载生成(中位)预填充首次首字内存峰温度
Basalt + UD-IQ3_XXS81.6 GB6.1 s65.4 tok/s2003 tok/s57.2 s61.0 GB73.8 °C
Strata + IQ3_XXS70.6 GB63.2 s56.7 tok/s1316 tok/s1.5 s57.4 GB75.0 °C
Strata + IQ3_S77.9 GB69.3 s52.6 tok/s1216 tok/s11.3 s62.6 GB72.8 °C
Basalt + UD-IQ4_XS90.9 GB6.1 s34.8 tok/s1026 tok/s49.4 s60.8 GB74.5 °C
Basalt + NVFP4(122.6 GB)122.6 GB6.0 s31.1 tok/s942 tok/s53.6 s61.3 GB65.3 °C
Basalt + 27B NVFP4(19.7 GB)19.7 GB13 s❌ 不可运行————

五种配置对比

五个能直接用的结论:

  • ① "同一 prompt 反复跑"下 Basalt 更快(65.4 vs 56.7 tok/s),但这个优势在真实工作里会消失:换成 10 道互不相同的题目,Basalt 的有效吞吐从 65.4 掉到 37.3 tok/s(-43%),Strata 保持 58.3。原因见第十四节:专家缓存按 prompt 热,换个问题就要重新搬权重。
  • ② 内存是硬边界:81.6 GB 全驻留 65.4 tok/s;90.9 GB 超出 5.5 GiB 走 SSD,掉到 34.8(-47% )。
  • ③ 上下文在 12 万 token 以内几乎免费:16K→256K 只掉 15%;但 24 万 token 时衰减明显(Basalt 掉 37%,Strata 基本持平)。
  • ④ 量化档位对能力没有可观测影响:86 个判定点里只有 1 处失分,且是格式问题不是推理问题。
  • ⑤ 当生产力用,选 Strata + IQ3_XXS:
你的场景选它依据
当生产力用(题目千变万化)Strata + IQ3_XXS10 道真实工作题 10/10、总耗时 118.7 s 最短、换题不掉速
批处理:同一模板反复调用Basalt + UD-IQ3_XXS缓存热了之后 65.4 tok/s 最快
超长文档(20 万 token 以上)Strata(任一档)24 万 token 时 152 s vs Basalt 182 s,快 16%
显存/内存吃紧UD-IQ3_XXS(81.6 GB)82 GB 是这台机器的"刚好塞满"点;再大就掉一半
要读图Basalt + 任一包视觉只在 Basalt 侧验证通过

一句话:当生产力用选 Strata + IQ3_XXS;只有"同一模板反复跑"才轮到 Basalt;包别超过 82 GB。

第五条与本文第五节的结论方向相反,不是笔误。第五节量的是"同一 prompt 反复跑", 正好是 Basalt 的主场(专家缓存命中);真实工作每道题都不同,它的优势就消失了。 完整对照数据在第十四节。

我自己的最终选择

数字归数字,落到日常用,我最后定的是两个:

Strata + IQ3_XXS(70.6 GB)做日常生产力。 因为我的机器是 64 GB 内存:这个包加载后峰值 57.4 GB,留得住余量;更大的 IQ3_S 峰值 62.6 GB,后台开点东西就开始换页。而且它首字 1.5 秒、换新问题不掉速、10 道真实工作题总耗时最短(118.7 秒)。

Basalt + NVFP4(122.6 GB)做主力。 它是这批包里量化最深的,质量上限最高。速度 31–37 tok/s 是五组里最慢的,但多等十几秒换更少的返工,我接受;81.6 GB 的 UD-IQ3_XXS 留着当"快速档"。

两个引擎的模型都接进了 Claude Code / codex / DSH,切换就是双击一个脚本(接法见第十五章)。

能力上,日常 90% 的活交给本地够用(写代码、重构、读日志、长文档分析,实测 24 万 token 仍能正确检索);跨十几个文件的架构重构、几十步自主规划、需要最新知识或多模态时,才上云端。

二、为什么要重测

之前写过 45–50 tok/s 的数字,是在对话里随手测的:没有固定 prompt、没有多次取样、没记录内存与显存状态。这种数字经不起复现。

触发点是知乎上一条评论:

「50 系显卡直接上 basalt 这个项目吧,另外由于 5060ti 16g 带宽虽然比 4060ti 提升较大,但还是可以选择显存频率干跑拉个 1500,带宽就能够有 500 多 gb。」

Basalt 我看过了:它明确写着 fork 自 Strata,是给 Blackwell(sm_120)优化的分支,支持 OpenAI / Anthropic 双协议(Claude Code 能直连)。

那就值得认真测一次:同一台机、同一段 prompt、同一套脚本,把两个引擎的五种配置量一遍。

三、测试条件

项值
硬件RTX 5060 Ti 16GB(可用显存约 15.5 GiB)、64GB DDR4-3600(2×32GB,双通道,理论带宽 57.6 GB/s)、Windows 11
模型Qwen3.8-Flash-Next 284B(13B 激活),MoE
Strata 上下文 / KV131072 / q4_0(速度测试口径;长文测试用 262144)
Basalt 上下文 / KV262144(另有 16K–512K 扫掠)/ int8
prompt固定中文技术提问(76 token)
生成上限400 token,temperature 0(greedy)
取样每档连跑 3 次取中位
预填充约 19513 字中文(10978 token)
资源采样0.5 秒一次,记显存/内存/利用率/温度峰值
环境证据每组截图任务管理器 + 全程录屏(只录右屏)

测速脚本做四件事:清场(停旧实例、确认 8080 空闲)→ 启动 → 校验模型名(不符直接报错)→ 连跑 3 次。

为什么必须校验模型名:我第一次测「IQ3_S」时,旧实例没停干净,脚本连上了还在跑的 IQ3_XXS,日志里「加载 0 秒」、模型名还是 iq3_xxs。不校验的话,这组数据就是假的。

四、五种配置的速度数据

Strata + IQ3_XXS(70.6 GB)

加载      63.2 s
第 1 次   400 tok / 7.82 s = 51.1 tok/s(首字 1.47 s)
第 2 次   356 tok / 6.28 s = 56.7 tok/s(首字 0.09 s)
第 3 次   206 tok / 3.43 s = 60.1 tok/s(首字 0.11 s)
中位      56.7 tok/s
预填充    10978 token / 8.34 s ≈ 1316 tok/s
峰值      显存 15475 MiB · 内存 57.39 GB · GPU 100% · 75.0 °C

Strata + IQ3_S(77.9 GB)

加载      69.3 s
第 1 次   250 tok / 5.99 s = 41.7 tok/s(首字 11.29 s)
第 2 次   289 tok / 5.49 s = 52.6 tok/s(首字 0.08 s)
第 3 次   293 tok / 5.43 s = 53.9 tok/s(首字 0.09 s)
中位      52.6 tok/s
预填充    10978 token / 9.03 s ≈ 1216 tok/s
峰值      显存 15417 MiB · 内存 62.57 GB · GPU 100% · 72.8 °C

Basalt + UD-IQ3_XXS(81.6 GB)

加载      6.1 s
第 1 次   259 tok / 4.68 s = 55.4 tok/s(首字 57.15 s)← 专家现场装载
第 2 次   259 tok / 3.96 s = 65.4 tok/s(首字 0.07 s)
第 3 次   287 tok / 4.31 s = 66.6 tok/s(首字 0.07 s)
中位      65.4 tok/s
预填充    10978 token / 5.48 s ≈ 2003 tok/s
峰值      显存 15579 MiB · 内存 60.96 GB · GPU 100% · 73.8 °C

Basalt + UD-IQ4_XS(90.9 GB)

加载      6.1 s
第 1 次   274 tok / 8.82 s = 31.1 tok/s(首字 49.42 s)
第 2 次   266 tok / 7.63 s = 34.8 tok/s(首字 0.12 s)
第 3 次   280 tok / 7.53 s = 37.2 tok/s(首字 0.12 s)
中位      34.8 tok/s
预填充    10978 token / 10.7 s ≈ 1026 tok/s
峰值      显存 15496 MiB · 内存 60.79 GB · GPU 100% · 74.5 °C

Basalt + NVFP4(122.6 GB)

加载      6.0 s
第 1 次   186 tok / 6.44 s = 28.9 tok/s(首字 51.83 s)
第 2 次   181 tok / 4.81 s = 37.6 tok/s(首字 0.12 s)
第 3 次   191 tok / 5.21 s = 36.6 tok/s(首字 0.12 s)
中位      36.6 tok/s(16K 上下文)/ 31.1 tok/s(256K 上下文)
预填充    10978 token / 11.55 s ≈ 950 tok/s
峰值      显存 15624 MiB · 内存 61.26 GB · GPU 100% · 65.3 °C

三个跨所有配置的现象

① 第一次永远最慢

IQ3_XXS  51.1 → 56.7 → 60.1
IQ3_S    41.7 → 52.6 → 53.9
UD-IQ3_XXS 55.4 → 65.4 → 66.6

第一次要付"专家预热"的代价(首字 1.5–57 秒),之后同 prompt 走缓存。只测一次会系统性低估 10–25%。

② 组内方差有 17%

IQ3_XXS 51.1–60.1、IQ3_S 41.7–53.9。这个量级下不能说"量化档位显著影响速度" ,只能说同量级。

③ 预填充比生成更稳定

UD-IQ3_XXS 2003 / IQ3_XXS 1316 / IQ3_S 1216 / UD-IQ4_XS 1026 / NVFP4 942

预填充是纯计算、不涉及专家缓存命中率,差距更干净。要比较引擎的算力效率,看预填充。

五、同量化对照:Basalt 反超 Strata

一开始的对比并不公平:Basalt 用 122.6 GB 的 NVFP4 包,Strata 用 70.6 / 77.9 GB 的 IQ3 包,包大了 60–75%,慢是应该的。

补上同量化家族的 UD-IQ3_XXS(81.6 GB)之后,才有干净对照:

配置包大小加载生成预填充首次首字
Strata + IQ3_XXS70.6 GB63.2 s56.7 tok/s1316 tok/s1.5 s
Basalt + UD-IQ3_XXS81.6 GB6.1 s65.4 tok/s2003 tok/s57.2 s

同一模型、同一量化家族、同一台机器:Basalt 快 15%,预填充快 52%,加载快 10 倍。

这推翻了我先前的一个判断

我根据 NVFP4 的数据写过:"Basalt 受限于存储带宽只有 36.6 tok/s"。现在看,慢的不是引擎,是那个 122.6 GB 的包:

NVFP4      122.6 GB → 31–37 tok/s    ← 每 token 要搬的权重多 75%
UD-IQ3_XXS   81.6 GB → 65.4 tok/s    ← 与 Strata 同档,反而更快

包体积对速度的影响,比引擎差异大得多。

为什么 Basalt 能反超

① 预填充快 52% (2003 vs 1316 tok/s),两个包量化档相同,说明 prompt 处理效率确实不同(Basalt 把 prompt 的专家分一部分给 CPU 算,--prefill-cpu-share 默认 0.6)。

② 加载 6.1 s vs 63.2 s:Basalt 用 mmap 惰性映射,启动几乎不读权重;Strata 启动即预载。代价是首次请求付 57 秒专家装载费。

③ 温度更低(73.8 vs 75.0 °C;两者都接近满载,但 Basalt 有更多时间等 I/O)。

两句实话

  • ① Basalt 的包大 11 GB(81.6 vs 70.6),磁盘更占地方;
  • ② 首次请求 57 秒在交互场景难接受,除非服务常驻、只预热一次。

选哪个取决于你是"常驻服务"还是"偶尔跑一次"。

六、内存边界:90.94 GB 的包,速度掉 47%

UD-IQ4_XS 比 81.6 GB 那个只大 11%,但正好跨过"能不能全塞进内存"这条线。

第一次启动直接失败

error: RAM ran out loading (1013 MiB free); use --resident-budget-gib 42

90.94 GB > 64 GB 物理内存,引擎默认不做超配,直接拒绝加载。

加 --resident-budget-gib 42 后能跑,代价是部分专家放 SSD

warning: model 60.9 GiB, free VRAM + RAM 55.4 GiB:
         the rest is read from the SSD while generating (slow)
ram floor 7.2 GiB (4.0 file cache) of 50.7 GiB free,
5.5 GiB experts on SSD, RAM copy <= 42.0 GiB

结果

配置包大小生成预填充专家在哪
Basalt UD-IQ3_XXS81.6 GB65.42003全在内存 ✅
Strata IQ3_XXS70.6 GB56.71316全在内存 ✅
Strata IQ3_S77.9 GB52.61216全在内存 ✅
Basalt UD-IQ4_XS90.9 GB34.810265.5 GiB 在 SSD ⚠
Basalt NVFP4122.6 GB31.1–36.6942–950大部分在 SSD ⚠
包大 11%   →  速度掉 47%
包大 50%   →  速度掉一半以上

内存是硬边界,不是软约束。

一个反直觉的排序

按速度排,最快的既不是最大也不是最小的包,而是刚好塞满内存的那个:

81.6 GB  65.4 tok/s   ← 刚好卡在内存上限
90.9 GB  34.8 tok/s   ← 超了 5.5 GiB,掉一半
122.6 GB 31–37 tok/s  ← 超得更多

工程建议

  • ① 64 GB 机器上,包超过约 55 GB 就要显式加 --resident-budget-gib(留系统和文件缓存),否则必定报内存不足;
  • ② 该参数能把超出的部分挤到 SSD,但要接受掉速;
  • ③ 同尺寸下优先选"能全驻留"的量化档:宁可 IQ3_XXS 全驻留(65.4),不要 IQ4_XS 挤 SSD(34.8)。

七、上下文曲线:16K → 512K

同一包(NVFP4)、同一 prompt,只改 --max-context:

上下文生成(中位)三次样本预填充首次首字需要外推?
16K36.6 tok/s28.9 / 37.6 / 36.611.55 s51.8 s原生
32K36.3 tok/s25.4 / 36.3 / 38.411.39 s52.6 s原生
64K35.0 tok/s25.4 / 35.0 / 36.311.17 s53.0 s原生
128K32.9 tok/s28.2 / 32.9 / 36.811.36 s52.7 s原生
256K31.1 tok/s27.2 / 31.1 / 37.011.66 s53.6 s原生上限
512K33.6 tok/s24.8 / 33.6 / 34.111.30 s53.7 sYaRN×2

16K → 256K(16 倍),生成速度只掉 15%。 显存峰值几乎不动(15540–15680 MiB)。

为什么上下文几乎免费

122.6 GB 包 / 16 GB 显存 → 绝大多数专家不在显存里
每 token 的时间几乎全花在搬专家,而不是 attention
KV 涨的那点显存,对"专家缓存命中率"影响很小

在"模型远大于显存"的场景里,上下文长度不是速度的敌人,存储带宽才是。反过来说:想提速,加内存/换快盘比调上下文有效得多。

512K 的注意事项

--max-context 524288 --rope-scaling yarn --rope-scale 2

512K 超过原生训练长度(262144),必须外推。实测 33.6 tok/s 与 256K 的 31.1 相当——这是噪声,不是"512K 更快" (组内极差 8–13 tok/s)。而且 YaRN 会降低长上下文质量,这是所有外推方法的通病。

另外两个包也扫了:IQ3_XXS 与 IQ4_XS

上下文UD-IQ3_XXS(81.6 GB)UD-IQ4_XS(90.9 GB)
16K65.3 tok/s(57.6 / 65.3 / 69.4)30.6 tok/s(29.9 / 30.6 / 30.9)
64K60.2 tok/s(54.0 / 60.2 / 62.0)33.9 tok/s(28.8 / 33.9 / 34.8)
256K62.3 tok/s(57.6 / 62.3 / 66.6)32.5 tok/s(28.1 / 32.5 / 33.3)

两个包同样"上下文几乎免费" :IQ3_XXS 65.3→62.3(-5%),IQ4_XS 30.6→32.5(噪声内,反而略高)。注意 IQ4_XS 整体只有 IQ3_XXS 的一半——这是内存边界造成的(第六节),不是上下文造成的。

真实长输入:最大喂到 24 万 token,针都命中

前面所有"预填充"只喂了 10978 token。这次直接构造 48K / 121K / 242K token 的中文长文(针埋在中点),看真实长度下的预填充吞吐与检索准确性。五个配置全测:

配置48K 输入121K 输入242K 输入
Strata IQ3_XXS30.3 s(1597 tok/s)67.6 s(1793 tok/s)152.4 s(1593 tok/s)
Strata IQ3_S30.9 s(1564 tok/s)68.1 s(1780 tok/s)155.1 s(1566 tok/s)
Basalt UD-IQ3_XXS22.8 s(2119 tok/s)57.1 s(2124 tok/s)182.3 s(1331 tok/s)
Basalt NVFP432.6 s(1483 tok/s)63.3 s(1915 tok/s)200.2 s(1212 tok/s)
Basalt UD-IQ4_XS34.2 s(1412 tok/s)73.1 s(1658 tok/s)200.7 s(1210 tok/s)

表里是"一次性请求的总耗时"(预填充 + 生成几十个 token)。五个配置的检索全部命中。 另有 10K 档,但它是每次启动后的首个请求、含约 50 秒专家装载,不具可比性,未列入。

五个结论:

  • ① 24 万 token 的长文五个配置全部能处理:都用掉 256K 窗口的 93%,检索全中;
  • ② 衰减出现在接近上限时,不是线性增长时:

Basalt IQ3XXS:48K 2119 → 121K 2124(持平)→ 242K 1331(-37%) Basalt NVFP4 :48K 1483 → 121K 1915(上升)→ 242K 1212(-37%) Basalt IQ4XS :48K 1412 → 121K 1658(上升)→ 242K 1210(-27%) Strata IQ3XXS:48K 1597 → 121K 1793(上升)→ 242K 1593(持平) Strata IQ3_S :48K 1564 → 121K 1780(上升)→ 242K 1566(持平)

48K→121K 之间没有衰减,但 121K→242K 上 Basalt 掉三到四成、Strata 基本持平。折点在 12 万 token 附近,而且两个引擎在折点之后表现不同。

  • ① 交叉点出现了:12 万以内 Basalt 快,24 万时 Strata 反超

48K 121K 242K Basalt IQ3XXS 2119 → 2124 → 1331 ← 快,然后崩 Strata IQ3XXS 1597 → 1793 → 1593 ← 一直稳

24 万 token 时 Strata 比 Basalt 快 16%(152 s vs 182 s)。 推测:接近满窗时 KV 缓存挤压专家缓存,Basalt 的专家换出机制开始频繁走 SSD; Strata 是 mmap 分页,退化更平缓。(这是推测,没有 profile 证据。)

  • ① 短输入下的"包越大越慢"不成立:122.6 GB 的 NVFP4 在长输入上反超 90.9 GB 的 IQ4_XS (1915 vs 1658):NVFP4 有 Blackwell 硬件量化路径,IQ4_XS 的 SSD 溢出是纯 I/O 惩罚;
  • ① 代价是"一次性等待" :121K 约 1 分钟,242K 要约 2.5–3.3 分钟。批处理可接受,交互式要谨慎。

实用长度表:多长才不算受罪

把三次实测的等待时间换成"人能不能等":

输入长度实测耗时(IQ3_XXS)体感适合场景
约 12K token12 秒量级(首次请求另加约 50 秒装载)可接受交互式对话、改代码
48K token22.8 秒稍等,能忍读一份长文档、分析单个文件
121K token57.1 秒明显卡顿长文档问答、整库分析(批处理)
242K token182.3 秒三分钟不动只适合离线批处理

换算成"每秒能处理多少 token"看的是吞吐,换算成"我要等多久"看的是总时长。

场景建议上限理由
交互式对话 / 改代码32K 以内20K 量级输入约 10 秒(按 2100 tok/s 线性估算,未单独实测)
长文档问答100–120K约 1 分钟,看一眼文档的合理代价
整库/超长分析240K3 分钟一次,只能批处理
追求最快首字8K–32K与上下文曲线的前段一致

说明:32K 那档的耗时是按吞吐线性估算的,没有单独实测;12K 那档包含首次专家装载, 不能直接和 48K/121K/242K 对比。有实测的只有后三档。

该怎么配

场景建议上下文理由
日常问答、改代码8K–32K速度最高(36.6),显存压力最小
读长文档、分析整库128K32.9 tok/s,覆盖绝大多数需求
需要极限长度256K(原生上限)31.1 tok/s,不损质量
512K不建议除非确实要喂 50 万字,且能接受质量下降

八、能力测试:86 个判定点(能力 70 + 视觉 16),量化档位拉不开差距

速度差异很大,但能力差异几乎没有。这一节是证据。

题库(全部可自动判定,不靠主观打分)

套题数内容
基础10算术、单位换算、中文词义、代码阅读、逻辑、JSON、长文检索、事实、摘要、格式
中等6两步折扣、日期推算、递归求值、数据求和、多约束输出、歧义计数
困难6精确字数、多跳检索、复合单位、异常类型、精确计数、概率分数
极限3排队约束、2^64、反转加一
代码执行4写 count_vowels/is_palindrome/fizzbuzz/merge_intervals,用测试用例真跑
长输出31..100、前 20 个质数、10 行平方表
压力111..300 长输出、20 项 JSON、平方和、严格长度、5 档检索、多针取第二、长文计数
多轮123 组对话 × 4 轮(记忆/指代/约束延续)
硬核计算8847×629、3^13、大数加法、进制转换、12!、浮点精确、含佣金净收益、复利
视觉162 张图 × 2 个包,读中英文、数字、颜色、位置顺序

结果

配置25 题代码+长输出压力检索多轮硬核合计
Basalt + NVFP425/257/711/117/712/128/870/70
Basalt + UD-IQ3_XXS25/257/711/117/712/128/870/70
Basalt + UD-IQ4_XS25/257/711/117/712/128/870/70
Strata + IQ3_S25/257/711/117/712/128/870/70
Strata + IQ3_XXS24/257/711/117/712/128/869/70

唯一失分:IQ3_XXS 在「他借了我一本书有几种理解」用英文作答("Or I borrowed 10 yuan from him?"),违反「只输出数字」。这是指令遵循/语言一致性问题,不是推理能力问题。

四个具体证据

① 代码生成能真跑

count_vowels("Hello World") == 3
is_palindrome("A man, a plan, a canal: Panama") == True
fizzbuzz(15)[14] == "FizzBuzz"
merge_intervals([[1,3],[2,6],[8,10],[15,18]]) == [[1,6],[8,10],[15,18]]

所有写出来的函数全部通过测试用例,包括边界条件(空字符串、已排序、嵌套区间)。

② 长输出不崩

1..100 ✅   1..300 ✅   20 个质数 ✅   20 项 JSON ✅

量化模型常见的"输出到一半跳号/截断"没有出现。

③ 精确计算全对

连 0.1+0.2 的 17 位展开(0.30000000000000004)都逐位正确;含 0.5% 佣金的股票净收益(571.02)、4.5% 复利 7 年(13608.62)也全对。

④ 20K 文档检索 100%

5 个深度(5%/25%/50%/75%/95%)各埋不同校准码,全部准确取出;三个针同时存在时,能正确回答"第二个""第三个"是哪个。

这一版修掉了首轮测试的设计缺陷:原来 5 档用同一个码,无法区分"真读到"与"巧合"。

视觉能力(Basalt 支持读图)

包里确实带视觉投影(vision/mmproj 866 MB、vision/text_vocab 10 MB)。启动加 --vision dynamic 即可:

问题(图 1:白底红字 SHILU 7391)UD-IQ3_XXSNVFP4
英文和数字✅ SHILU 7391✅ SHILU 7391
文字颜色✅ 红色✅ 红色
背景颜色✅ 白色✅ 白色
问题(图 2:中文标题 + 规格 + 三色圆)UD-IQ3_XXSNVFP4
中文标题⚠ 答"本地推理测试"(漏 2026)⚠ 同
显存与内存✅ 显存=16GB,内存=64GB✅ 同
左→右三圆颜色✅ 红,绿,蓝✅ 红色, 绿色, 蓝色

每包 7/8。 唯一失分我追查过,不是读不出:

Q: 第一行有没有数字?只输出那个数字     → 2026
Q: 逐字读出第一行全部内容              → 本地推理测试 2026

能逐字读对,只是被问"标题是什么"时把年份省了——回答风格问题,不是视觉缺陷。

这套能力测试的局限(诚实声明)

  • ① 题目偏"可判定" :真正会被量化伤到的是长链推理、边缘知识、细微语感,这些难以自动判定;
  • ② 没有主观维度:文风、啰嗦程度、拒答倾向,需要人评;
  • ③ 代码题只覆盖 4 个经典函数,不代表真实项目里的长文件改写;
  • ④ 视觉只测了静态图、短文本:复杂图表、手写体、多图对比、视频都没测(Flash-Next 支持视频解码,但需要带 NVDEC 的 FFmpeg 构建,本机未验证)。

九、长输出:稳态速度比短测更快

前面都是"400 token 的短测"。真实回答往往更长,于是补测单次生成 1600 token,并用流式时间戳按四分位看变化:

配置短测(400 tok)长测(1600 tok)变化四分位首→末
Strata IQ3_XXS56.769.5+23%64.1 → 74.5
Strata IQ3_S52.661.3+17%49.6 → 98.3
Basalt UD-IQ3_XXS65.470.1+7%61.4 → 106
Basalt NVFP436.637.8+3%38.9 → 37.9

结论一:短测会系统性低估速度。 400 token 里包含预热后最慢的那几十个 token;输出越长,快的部分占比越大。

结论二:KV 增长没有拖慢速度。 除 NVFP4 外,其余三组末段速度高于首段——投机解码命中率的波动压过了 KV 增长的代价。

结论三:只有 NVFP4 是"平"的。 四分位 38.9 → 37.9 几乎不动,因为它的瓶颈是稳定的 SSD 带宽,不随计算波动。

十、测量方法本身会骗人(重要)

我第一版脚本量出的 IQ3_XXS 是 180.8 tok/s,修正后是 42.3 tok/s,差 4 倍,不是硬件,是代码。(42.3 是那一版口径;统一用 v2 脚本后为 56.7,差别来自输出长度与缓存状态,见第四节。)

错在哪:我把 TTFT 定义成"第一个 delta.content 到达的时刻",然后 tok/s = completion_tokens / (总时长 - TTFT)。

但这批模型是推理模型,先吐 delta.reasoning_content,思考完才吐 delta.content:

completion_tokens = 343(含思考)
TTFT 按 content 算 = 12.31 s(思考完了才等到 content)
实际总时长 = 6.31 s
→ 分母变成负数/极小值 → 报出 180+ tok/s,纯属假象

修正:把 reasoning_content 也算作流式输出,TTFT 从第一个任意 delta 开始计时。

给所有人的提醒:测推理模型的速度,先确认你量的到底是"思考+输出"还是"只算输出"。

另外两个必踩的坑

① max_tokens 太小会让推理模型"想不完"

我第一版能力测试用 24 token 上限,结果模型把 token 全花在思考上,content 为空,三档配置全被判 0 分。放大到 512 后才是真实水平(10/10)。

② 停实例要等端口真正释放

70–120 GB 模型卸载要 1–4 分钟。--stop 返回不代表端口已释放,否则下一组会连到上一个模型。脚本里改成:等端口空闲最多 40 秒,还不行就强杀监听进程。

③ 换个题库,名次会翻转——所以小样本评测别当真

我另外拿两个"全驻留显存"的小模型跑了同一批题,结果是:

  • Qwen2.5-Coder-14B:易题 6/10,难题 8/10
  • gpt-oss-20b:易题 10/10,难题 6/10

同一个模型,换一套题,名次直接反过来。 而且每组跑 3 次,逐题结果完全一致,说明分数是确定的,不稳定的永远是题。

所以"哪个模型更强"这类结论,除非题库公开、样本足够、判分口径写清楚,否则不该写进文章。本文只保留"这两套题在这台机器上发生了什么",不据此推断任何模型的能力上限。

十一、在 Windows 上把 Basalt 跑起来:8 个坑

这一节是"让 Basalt 在这台机器上启动"的全部代价,每条都有现场证据。

坑 1:CUDA 13 不必装 Toolkit

basalt.exe 直接运行退出码 0xC0000135(STATUS_DLL_NOT_FOUND),缺 cublas64_13.dll 等。

从 NVIDIA 组件清单拿两个包,解压 DLL 即可:

redistrib_13.0.0.json
  → cuda_cudart/windows-x86_64/...-13.0.48-archive.zip   (2.7 MB)
  → libcublas/windows-x86_64/...-13.0.0.19-archive.zip   (381 MB)

没装任何 CUDA Toolkit,没改系统环境,只把 DLL 目录加进 PATH。验证:basalt.exe --gpu-plan 输出 {"name":"RTX 5060 Ti","warning":"","error":""}。

注意:curl 取清单必须加 -L,否则 301 返回空。

坑 2:pip 清华源 403

依赖装二十分钟没动静,报 pypi.tuna.tsinghua.edu.cn → 403。换阿里云源 15 秒装完(--trusted-host mirrors.aliyun.com)。

坑 3:中文路径会让 Python 服务读不到模型

包放在 G:\Ds_harness\project\作业... 时,服务报的路径是:

G:\Ds_harness\project\浣滀笟\basalt-2026-11-15\models...
                    ↑ 作业 被按 GBK 解码成乱码

解法:包放纯 ASCII 路径(G:\Ds_harness\project\作业\basalt-2026-11-15\models),并加 PYTHONUTF8=1。

坑 4:不要用 venv 的 python.exe 当父进程

同一个写入操作,两种解释器结果相反:

解释器结果
.venv\Scripts\python.exe(复制出来的、无签名)❌ 被拒
C:\TOOS\python312\python.exe(系统安装、有信誉)✅ 放行

解法:用系统 Python 当父进程

C:\TOOS\python312\python.exe -m serve.server ^
  --model <pack>.basalt ^
  --engine-bin <root>\bin\basalt.exe ^
  --port 8080 --kv int8 --max-context 262144

basalt.exe serve 那条路不行:它让 basalt.exe(无签名)成为父进程,子进程写操作被拒。

实测(Kaspersky + 火绒全开) :[server] ready、/v1/models 有响应、生成 40 token 成功。这套启动方式在杀毒全开时可用,不需要关任何防护。

坑 5:引擎只能写自己所在的目录树(这条最容易误判)

视觉解码需要把图片写到临时目录,默认 TEMP 在 C:\Users...\Temp,于是报:

the image could not be read: cannot write <TEMP>\basalt-vision-xxx<hash>.part

第一反应是"杀毒拦程序"。做逐路径对照(让引擎自己写 --dump-routing 文件)才发现真相:

目标路径结果
...\basalt-v0.4.0-windows-x64\dump-test.txt✅ 能写
...\basalt-2026-11-15\dump-test.txt✅ 能写
C:\Users\zsl\AppData\Local\Temp\dump-test.txt❌ 被拦
D:\basalt-home\dump-test.txt❌ 被拦
G:\Ds_harness\project\作业\basalt-2026-11-15\models\dump-test.txt❌ 被拦

不是"程序不被信任",是"只能写自己所在的目录树"(火绒对未签名程序的默认策略)。

解法:把 TEMP 指到引擎目录,一行环境变量

$env:TMP  = "G:...\basalt-v0.4.0-windows-x64\tmp"
$env:TEMP = $env:TMP

设完视觉即工作,不需要加白、不需要关杀毒。

坑 6:不是病毒——文件与官方发布字节一致

项官方(GitHub API)本地
大小64,881,151 字节64,881,151 字节
SHA-256e781d76d...01fe7ca1完全相同
构建者github-actions[bot](CI 构建)—
Defender 威胁记录无—

拦截是行为型(无签名 + CUDA + 高频写文件),不是病毒库命中。

坑 7:27B 的 NVFP4 包在 16GB 卡上装不下

Qwen3.8-27B-QUASAR-NVFP4.basalt(19.7 GB)加载后:

qwen35: 1288 tensors, 16.00 GiB on the GPU, 2.37 GiB of embedding; 0.00 GiB free
error: 1 session(s) of 2048 cells need 2418 MiB, 0 MiB are free

16GB 卡可用约 15.5 GiB,权重本身就超了;且这版 27B 每层投影都是 NVFP4(没有可换出的专家),--expert-cache、--vram-reserve-mib、--max-context 256 都腾不出空间。

结论:这是 dense 模型,Basalt 的分层机制(只放专家)对它无效。16GB 机器要跑本地大模型,选 MoE + 小激活参数。

坑 8:generate 子命令不认,--stats 也不认

basalt: error: unknown argument: generate

不带子命令(默认就是 generate 模式)才跑得通:

bin\basalt.exe --model X.basalt --tokens "1,2,3" --max-new 8

--stats 只在 serve 侧有效。

十二、复现这套测试

所有脚本在 basalt-2026-11-15 目录下,Node 零依赖。

环境准备

1. CUDA 13 运行时:NVIDIA redist 取 cudart + cublas,DLL 放 _cuda\bin
2. Basalt v0.4.0 windows-x64 解压到 basalt-v0.4.0-windows-x64\
3. 模型包(.basalt)放 ASCII 路径,如 G:\Ds_harness\project\作业\basalt-2026-11-15\models\
4. 缓存重定向:HOME/USERPROFILE → D:\basalt-home
5. TEMP/TMP → <basalt-root>\tmp(否则视觉不可用,见坑 5)

速度

$env:BASALT_CTX='262144'
node 测速v2.mjs basalt "G:\Ds_harness\project\作业\basalt-2026-11-15\models\xxx.basalt" qwen3 标签
node 测速v2.mjs strata "G:\Strata\models\IQ3_XXS" iq3_xxs 标签

输出:加载时长、TTFT、3 次生成(中位)、预填充、资源峰值(0.5s 采样)、截图、录屏。

能力

node 测能力2.mjs  <kind> <包> <期望名片段> <标签>   # 25 题(A/B/C/D 四档)
node 测难度.mjs   <kind> <包> <期望名片段> <标签>   # 4 代码 + 3 长输出
node 测压力.mjs   <kind> <包> <期望名片段> <标签>   # 11 题
node 测检索.mjs   <kind> <包> <期望名片段> <标签>   # 7 题(5 档深度 + 多针)
node 测多轮.mjs   <kind> <包> <期望名片段> <标签>   # 3 组 × 4 轮
node 测硬核.mjs   <kind> <包> <期望名片段> <标签>   # 8 道精确计算

视觉与汇总

node 测视觉.mjs   "G:\Ds_harness\project\作业\basalt-2026-11-15\models\xxx.basalt" 标签    # 单图 3 题
node 测视觉2.mjs  "G:\Ds_harness\project\作业\basalt-2026-11-15\models\xxx.basalt" 标签    # 双图 5 题
node 汇总数据.mjs                                       # 生成对比表

大包超出内存时必须加的参数

--resident-budget-gib 42    # 64GB 机器,包 > 55GB 时必需

十三、局限与诚实声明

  • ① 只测了一台机器,而且是 DDR4 平台:RTX 5060 Ti 16GB + 64GB DDR4-3600(双通道 57.6 GB/s)。若换到 DDR5-5600(双通道 89.6 GB/s,+55% 带宽),本文的绝对速度会更好看,尤其是第六节"专家溢出到 SSD"之后的掉速会缓和——但 "内存是硬边界"这个排序不会变,只是边界位置会整体右移。
  • ② 换成 24GB 显存或更大内存,排序也可能变:那会让 122.6 GB 的 NVFP4 包也接近全驻留。
  • ③ 上下文上限只验证了"能配置" :所有预填充测试只喂 10978 token,填满 256K(约 25 万 token)时的表现未测。
  • ④ 首次 52–57 秒的冷启动没做优化:理论上可以预热、可以换 --vision-external 之类的路径,本文只记录默认行为。
  • ⑤ 长输出稳态只测了 4 组:UD-IQ4_XS 因走 SSD 速度不稳,未纳入(第九节)。
  • ⑥ 量化档位没测 4bit 以上:UD-IQ4_XS 已经跨过内存边界,更高档只会更慢,没有测试价值。
  • ⑦ Basalt 官方明确写「Quality is not measured on Windows」:本文只讨论可判定的能力与速度,不评价输出质量。

数据、脚本、截图、录屏全部在本机 G:\Ds_harness\project\作业\basalt-2026-11-15 下,可复现。

十四、生产力实测:10 道真实工作题,选型结论被推翻

前面所有速度数据都是同一段 prompt 反复跑。但真实工作是每道题都不一样—— 这会彻底改变结论。

题库(10 道,全部可执行验证)

题干什么怎么判分
写 SQL每品类销量最高的商品真跑 sqlite,比对结果集
写函数去重保序 + 分页真跑 5 个用例
修 bug二分查找(浮点除法 bug)真跑 5 个用例(含空数组)
结构化抽取中文采购单 → JSON 6 字段 + 3 品项逐字段精确比对
数据统计20 天销量:中位数/均值/总体标准差数值比对(18.5 / 18.5 / 6.26)
格式转换JSON → CSV(含逗号、引号的转义)逐行精确比对
写正则提取大陆手机号真跑:命中 2 个真号、排除 2 个假号
约束摘要≤120 字且必须含 3 个指定数字长度 + 关键词双重判定
重构O(n²) → O(n),保持语义真跑等价性 + 2 万元素 1 秒性能门槛
文档问答从 300 字技术说明里取一个数精确匹配

得分与耗时

配置得分10 题总耗时首题耗时后续平均
Strata IQ3_XXS10/10118.7 s15.7 s11.4 s
Strata IQ3_S10/10143.8 s21.8 s13.6 s
Basalt UD-IQ3_XXS9/10197.4 s74.5 s13.7 s
Basalt UD-IQ4_XS10/10238.1 s79.0 s17.7 s
Basalt NVFP410/10305.8 s85.8 s24.5 s

Basalt UD-IQ3_XXS 唯一失分:总体标准差题答了 6.52(正确 6.26,样本标准差 6.43,它两个都不是,是算错了)。其余九题全对。

关键发现:Basalt 的速度优势在真实工作里消失了

配置同一 prompt 重复跑10 道不同题跑落差
Strata IQ3_XXS56.7 tok/s58.3 tok/s无
Basalt UD-IQ3_XXS65.4 tok/s37.3 tok/s-43%
Basalt NVFP436.6 tok/s22.8 tok/s-38%
Basalt UD-IQ4_XS34.8 tok/s28.4 tok/s-18%

(这里的 tok/s = 该组所有题目的输出 token 总和 ÷ 总耗时,含首字延迟)

原因:Basalt 的专家缓存是按"最近用过的 prompt"热的。每来一道新题,命中的专家就换了一批,又要从内存/SSD 现场搬,第一题 74.5 秒就是这个代价,之后每题也还有一部分冷启动。而 Strata 启动时就把全部权重预载进内存,换个问题也不掉速。

这对选型意味着什么

我之前根据"同一 prompt 重复跑"的数据得出"短输入选 Basalt"——这个结论是错的,因为那个测法正好落在 Basalt 的主场(缓存命中),而真实生产力场景是每道题都不一样。

修正后的建议:

场景选它理由
日常写代码 / 写 SQL / 改 bug(题目千变万化)Strata + IQ3_XXS10/10、总耗时最短 118.7 s、换题不掉速、冷启动 1.5 秒
批处理:同一模板反复调用Basalt + UD-IQ3_XXS缓存热了之后 65.4 tok/s 确实最快
要读图Basalt + 任一包视觉只在 Basalt 侧验证通过
超长上下文(>20 万 token)Strata24 万 token 时 152 s vs 182 s

一句话:真正当生产力用,选 Strata + IQ3_XXS。 它的 10 题总耗时比 Basalt 快 66%(118.7 vs 197.4 秒),准确率还高(10/10 vs 9/10),内存占用也最低(57.4 GB)。

这组测试的局限

  • ① 10 道题都是单轮、都要求输出代码或结构化数据,不代表写长文、闲聊、头脑风暴;
  • ② 判分只看"能不能跑通/字段对不对",不看代码风格、可读性、注释质量;
  • ③ 每题只跑一次(temperature 0),没有做多次取多数。

十五、落地:把两个引擎接进三个客户端(Claude Code / codex / DSH)

测完只是第一步。要吃上这些数据,得把它们接进日常用的客户端。这一节记的是实测通过的配置,包括踩到的四个坑。

15.1 先定 256K

两个引擎都能开 262144:

引擎 / 包实测证据备注
Strata + IQ3_XXS/health → max_context: 262144KV 在 32K cells 之后溢到 pinned RAM(约 1.69 GiB)
Basalt + UD-IQ3_XXS/props → n_ctx: 262144实测 29,371 token 输入命中埋点
Basalt + NVFP4/props → n_ctx: 262144同上

Strata 以前一直用 128K,是因为测试时的设置如此,不是它的上限——它同样支持 256K。

15.2 三个客户端怎么填

① Claude Code(走 Anthropic 协议,Basalt 与 Strata 都实现了 /v1/messages)

$env:ANTHROPIC_BASE_URL='http://127.0.0.1:8080'
$env:ANTHROPIC_AUTH_TOKEN='basalt-local'   # 本地服务不校验
claude --model "Qwen3.8-Flash-Next UD-IQ3_XXS"

模型名必须逐字一致(含空格)。实测:填 claude-sonnet-4-5 会直接 404。 Claude Code 会打印 [claude-code:unrecognized_model],忽略它,请求正常。

② codex(走 OpenAI Responses 协议)

# C:\Users\zsl.codex\basalt-iq3.config.toml
model = "Qwen3.8-Flash-Next UD-IQ3_XXS"
model_provider = "basalt"
model_context_window = 262144
model_auto_compact_token_limit = 131072

[model_providers.basalt]
base_url = "http://127.0.0.1:8080/v1"
wire_api = "responses"        # ⚠️ 只能填 responses,填 chat 会直接报错退出
env_key = "BASALT_API_KEY"
stream_idle_timeout_ms = 900000

用法:codex --profile basalt-iq3 exec --skip-git-repo-check "任务"

③ DSH(cordis.patch.yml 里加一个 provider)

basalt-local:
  displayName: Basalt (本机)
  api: openai-completions
  baseURL: http://127.0.0.1:8080/v1
  headers: { Authorization: Bearer basalt-local }
  defaultContextWindow: 262144
  models:
    - id: Qwen3.8-Flash-Next UD-IQ3_XXS     # contextWindow: 262144
    - id: Qwen3.8-Flash-Next NVIDIA-NVFP4   # contextWindow: 262144

改完要重启 DSH(配置在启动时加载)。

15.3 启动/停止脚本的四个坑

坑 1:Start-Job 起的服务会随 shell 死

第一版启动器用 Start-Job,命令窗口一关,78 GB 的模型就没了。必须改成:

Start-Process -FilePath $PY -ArgumentList $argv -WorkingDirectory $ROOT -WindowStyle Hidden

坑 2:.ps1 里有中文路径,PowerShell 5.1 会按 ANSI 读

报错 pack not found: G:...\浣滀笟...。存成 UTF-8 with BOM 即可。

坑 3:.bat 里有中文路径,控制台代码页可能不是 936

双击时正常,从其他终端调用就乱码。首行加 chcp 936 >nul 钉死。

坑 4:报告里千万别写"起不来就是杀毒的错"

真实原因往往是路径:引擎只能写自己所在目录树。所以 TMP/TEMP 要指向 <basalt-root>\tmp,否则视觉解码和日志落盘都会失败,而报错看起来像权限/杀毒问题。

15.4 端口互斥表(8080)

当前在跑切过去要先
Strata IQ3_XXS(256K)停 Basalt 或直接启动脚本(会自动停对方)
Basalt UD-IQ3_XXS同上
Basalt NVFP4同上

一键脚本在 桌面\00-开关 下:Strata 开关 与 Basalt 开关 各自有启动/停止/状态 + Claude Code / codex 启动器 + 使用手册。

15.5 一句话

模型 ID 逐字抄、协议选对(Anthropic / Responses)、TEMP 指对、服务脱离终端—— 这四件事做对,三端就都能用;做错任何一件,报错都会指向错误的方向。

十六、结语:这项技术解决了什么,以及它没解决什么

这项技术最关键的转变只有一句话:把"显存装不下"变成了"内存够不够"。

16 GB 卡跑 284B,之前差 18 倍、根本不可能;现在只是慢——Strata 用 mmap 分页做到 56.7 tok/s (首字 1.5 秒),Basalt 用专家换出走 65.4 tok/s(加载 6 秒)。代价也能测:82 GB 全驻留 65.4 tok/s,多溢出 5.5 GiB 到 SSD 就掉到 34.8。

16.1 选型矩阵:按任务形态,而不是按"模型大小"

你的任务形态该选什么依据
只求低延迟、不在乎长上下文小模型,全驻留显存延迟最低、无冷启动;能力如何需自己测
日常写代码、改 bug、读文档Strata + 70–78 GB 包(刚好塞满内存)首字 1.5 秒,换问题不掉速,24 万 token 可用
长任务、要最高质量Basalt + 最大包(NVFP4 122.6 GB)量化最深,速度 31–37 tok/s 可接受
同一模板批量反复跑Basalt + UD-IQ3_XXS专家缓存热了之后 65.4 tok/s 最快
超长文档(>20 万 token)Strata(任一大包)24 万 token 时 152 s,比 Basalt 快 16%
极复杂、多模态、要最新知识云端模型本地在这几项上没有优势

一句话:显存决定"能不能跑",内存决定"跑多快",任务形态决定"该不该用它跑"。

16.2 能不能"当生产力",最后卡在工程细节上

实测里有一半时间不是花在调模型,而是花在这些"最后一公里":

  • ① 启动方式:必须用受信任的系统 Python 当父进程,basalt.exe serve 那条路会被 HIPS 拦;
  • ② 临时目录:引擎只能写自己所在的目录树,TEMP 不指过去,视觉和落盘全失败;
  • ③ 协议适配:Claude Code 走 Anthropic、codex 走 Responses、DSH 走 openai-completions,模型 ID 还得逐字一致;
  • ④ 启动脚本:服务必须脱离终端(Start-Process),Start-Job 会随 shell 一起死。

这四条任何一条没做对,"模型能跑"就变不成"我每天在用"。

16.3 最后

分层推理引擎把"小显存做本地生产力"从不可能变成了现实,代价是内存与磁盘带宽成了新的天花板,外加几十秒的冷启动。

至于"小模型还是大模型",本文的数据量不足以回答那件事——它只说明这两套题在这台机器上发生了什么。真要判断,办法是拿你自己的 20–30 道真实任务跑两遍,谁的返工少用谁。

不是"越大越好",也不是"越快越好",而是"任务形态 × 内存预算"决定你该用哪一个。


本文首发于 shilu.dpdns.org ,同步发布于 CSDN / 掘金 / 知乎。

原文地址(含完整配图和后续更新):
shilu.dpdns.org/articles/20…