实测日期:2026-11-15 至 11-16 机型:RTX 5060 Ti 16GB(sm_120,驱动 621.24)+ 64GB DDR4-3600 + Windows 11 模型:Qwen3.8-Flash-Next(284B 总参 / 13B 激活) 引擎:Strata 0.2.13、Basalt v0.4.0
一、结论先行
同一台机器、同一个模型、同一段 prompt、同一套脚本,只换引擎和量化包:
| 配置 | 包大小 | 加载 | 生成(中位) | 预填充 | 首次首字 | 内存峰 | 温度 |
|---|---|---|---|---|---|---|---|
| Basalt + UD-IQ3_XXS | 81.6 GB | 6.1 s | 65.4 tok/s | 2003 tok/s | 57.2 s | 61.0 GB | 73.8 °C |
| Strata + IQ3_XXS | 70.6 GB | 63.2 s | 56.7 tok/s | 1316 tok/s | 1.5 s | 57.4 GB | 75.0 °C |
| Strata + IQ3_S | 77.9 GB | 69.3 s | 52.6 tok/s | 1216 tok/s | 11.3 s | 62.6 GB | 72.8 °C |
| Basalt + UD-IQ4_XS | 90.9 GB | 6.1 s | 34.8 tok/s | 1026 tok/s | 49.4 s | 60.8 GB | 74.5 °C |
| Basalt + NVFP4(122.6 GB) | 122.6 GB | 6.0 s | 31.1 tok/s | 942 tok/s | 53.6 s | 61.3 GB | 65.3 °C |
| Basalt + 27B NVFP4(19.7 GB) | 19.7 GB | 13 s | ❌ 不可运行 | — | — | — | — |
五个能直接用的结论:
- ① "同一 prompt 反复跑"下 Basalt 更快(65.4 vs 56.7 tok/s),但这个优势在真实工作里会消失:换成 10 道互不相同的题目,Basalt 的有效吞吐从 65.4 掉到 37.3 tok/s(-43%),Strata 保持 58.3。原因见第十四节:专家缓存按 prompt 热,换个问题就要重新搬权重。
- ② 内存是硬边界:81.6 GB 全驻留 65.4 tok/s;90.9 GB 超出 5.5 GiB 走 SSD,掉到 34.8(-47% )。
- ③ 上下文在 12 万 token 以内几乎免费:16K→256K 只掉 15%;但 24 万 token 时衰减明显(Basalt 掉 37%,Strata 基本持平)。
- ④ 量化档位对能力没有可观测影响:86 个判定点里只有 1 处失分,且是格式问题不是推理问题。
- ⑤ 当生产力用,选 Strata + IQ3_XXS:
| 你的场景 | 选它 | 依据 |
|---|---|---|
| 当生产力用(题目千变万化) | Strata + IQ3_XXS | 10 道真实工作题 10/10、总耗时 118.7 s 最短、换题不掉速 |
| 批处理:同一模板反复调用 | Basalt + UD-IQ3_XXS | 缓存热了之后 65.4 tok/s 最快 |
| 超长文档(20 万 token 以上) | Strata(任一档) | 24 万 token 时 152 s vs Basalt 182 s,快 16% |
| 显存/内存吃紧 | UD-IQ3_XXS(81.6 GB) | 82 GB 是这台机器的"刚好塞满"点;再大就掉一半 |
| 要读图 | Basalt + 任一包 | 视觉只在 Basalt 侧验证通过 |
一句话:当生产力用选 Strata + IQ3_XXS;只有"同一模板反复跑"才轮到 Basalt;包别超过 82 GB。
第五条与本文第五节的结论方向相反,不是笔误。第五节量的是"同一 prompt 反复跑", 正好是 Basalt 的主场(专家缓存命中);真实工作每道题都不同,它的优势就消失了。 完整对照数据在第十四节。
我自己的最终选择
数字归数字,落到日常用,我最后定的是两个:
Strata + IQ3_XXS(70.6 GB)做日常生产力。 因为我的机器是 64 GB 内存:这个包加载后峰值 57.4 GB,留得住余量;更大的 IQ3_S 峰值 62.6 GB,后台开点东西就开始换页。而且它首字 1.5 秒、换新问题不掉速、10 道真实工作题总耗时最短(118.7 秒)。
Basalt + NVFP4(122.6 GB)做主力。 它是这批包里量化最深的,质量上限最高。速度 31–37 tok/s 是五组里最慢的,但多等十几秒换更少的返工,我接受;81.6 GB 的 UD-IQ3_XXS 留着当"快速档"。
两个引擎的模型都接进了 Claude Code / codex / DSH,切换就是双击一个脚本(接法见第十五章)。
能力上,日常 90% 的活交给本地够用(写代码、重构、读日志、长文档分析,实测 24 万 token 仍能正确检索);跨十几个文件的架构重构、几十步自主规划、需要最新知识或多模态时,才上云端。
二、为什么要重测
之前写过 45–50 tok/s 的数字,是在对话里随手测的:没有固定 prompt、没有多次取样、没记录内存与显存状态。这种数字经不起复现。
触发点是知乎上一条评论:
「50 系显卡直接上 basalt 这个项目吧,另外由于 5060ti 16g 带宽虽然比 4060ti 提升较大,但还是可以选择显存频率干跑拉个 1500,带宽就能够有 500 多 gb。」
Basalt 我看过了:它明确写着 fork 自 Strata,是给 Blackwell(sm_120)优化的分支,支持 OpenAI / Anthropic 双协议(Claude Code 能直连)。
那就值得认真测一次:同一台机、同一段 prompt、同一套脚本,把两个引擎的五种配置量一遍。
三、测试条件
| 项 | 值 |
|---|---|
| 硬件 | RTX 5060 Ti 16GB(可用显存约 15.5 GiB)、64GB DDR4-3600(2×32GB,双通道,理论带宽 57.6 GB/s)、Windows 11 |
| 模型 | Qwen3.8-Flash-Next 284B(13B 激活),MoE |
| Strata 上下文 / KV | 131072 / q4_0(速度测试口径;长文测试用 262144) |
| Basalt 上下文 / KV | 262144(另有 16K–512K 扫掠)/ int8 |
| prompt | 固定中文技术提问(76 token) |
| 生成上限 | 400 token,temperature 0(greedy) |
| 取样 | 每档连跑 3 次取中位 |
| 预填充 | 约 19513 字中文(10978 token) |
| 资源采样 | 0.5 秒一次,记显存/内存/利用率/温度峰值 |
| 环境证据 | 每组截图任务管理器 + 全程录屏(只录右屏) |
测速脚本做四件事:清场(停旧实例、确认 8080 空闲)→ 启动 → 校验模型名(不符直接报错)→ 连跑 3 次。
为什么必须校验模型名:我第一次测「IQ3_S」时,旧实例没停干净,脚本连上了还在跑的 IQ3_XXS,日志里「加载 0 秒」、模型名还是 iq3_xxs。不校验的话,这组数据就是假的。
四、五种配置的速度数据
Strata + IQ3_XXS(70.6 GB)
加载 63.2 s
第 1 次 400 tok / 7.82 s = 51.1 tok/s(首字 1.47 s)
第 2 次 356 tok / 6.28 s = 56.7 tok/s(首字 0.09 s)
第 3 次 206 tok / 3.43 s = 60.1 tok/s(首字 0.11 s)
中位 56.7 tok/s
预填充 10978 token / 8.34 s ≈ 1316 tok/s
峰值 显存 15475 MiB · 内存 57.39 GB · GPU 100% · 75.0 °C
Strata + IQ3_S(77.9 GB)
加载 69.3 s
第 1 次 250 tok / 5.99 s = 41.7 tok/s(首字 11.29 s)
第 2 次 289 tok / 5.49 s = 52.6 tok/s(首字 0.08 s)
第 3 次 293 tok / 5.43 s = 53.9 tok/s(首字 0.09 s)
中位 52.6 tok/s
预填充 10978 token / 9.03 s ≈ 1216 tok/s
峰值 显存 15417 MiB · 内存 62.57 GB · GPU 100% · 72.8 °C
Basalt + UD-IQ3_XXS(81.6 GB)
加载 6.1 s
第 1 次 259 tok / 4.68 s = 55.4 tok/s(首字 57.15 s)← 专家现场装载
第 2 次 259 tok / 3.96 s = 65.4 tok/s(首字 0.07 s)
第 3 次 287 tok / 4.31 s = 66.6 tok/s(首字 0.07 s)
中位 65.4 tok/s
预填充 10978 token / 5.48 s ≈ 2003 tok/s
峰值 显存 15579 MiB · 内存 60.96 GB · GPU 100% · 73.8 °C
Basalt + UD-IQ4_XS(90.9 GB)
加载 6.1 s
第 1 次 274 tok / 8.82 s = 31.1 tok/s(首字 49.42 s)
第 2 次 266 tok / 7.63 s = 34.8 tok/s(首字 0.12 s)
第 3 次 280 tok / 7.53 s = 37.2 tok/s(首字 0.12 s)
中位 34.8 tok/s
预填充 10978 token / 10.7 s ≈ 1026 tok/s
峰值 显存 15496 MiB · 内存 60.79 GB · GPU 100% · 74.5 °C
Basalt + NVFP4(122.6 GB)
加载 6.0 s
第 1 次 186 tok / 6.44 s = 28.9 tok/s(首字 51.83 s)
第 2 次 181 tok / 4.81 s = 37.6 tok/s(首字 0.12 s)
第 3 次 191 tok / 5.21 s = 36.6 tok/s(首字 0.12 s)
中位 36.6 tok/s(16K 上下文)/ 31.1 tok/s(256K 上下文)
预填充 10978 token / 11.55 s ≈ 950 tok/s
峰值 显存 15624 MiB · 内存 61.26 GB · GPU 100% · 65.3 °C
三个跨所有配置的现象
① 第一次永远最慢
IQ3_XXS 51.1 → 56.7 → 60.1
IQ3_S 41.7 → 52.6 → 53.9
UD-IQ3_XXS 55.4 → 65.4 → 66.6
第一次要付"专家预热"的代价(首字 1.5–57 秒),之后同 prompt 走缓存。只测一次会系统性低估 10–25%。
② 组内方差有 17%
IQ3_XXS 51.1–60.1、IQ3_S 41.7–53.9。这个量级下不能说"量化档位显著影响速度" ,只能说同量级。
③ 预填充比生成更稳定
UD-IQ3_XXS 2003 / IQ3_XXS 1316 / IQ3_S 1216 / UD-IQ4_XS 1026 / NVFP4 942
预填充是纯计算、不涉及专家缓存命中率,差距更干净。要比较引擎的算力效率,看预填充。
五、同量化对照:Basalt 反超 Strata
一开始的对比并不公平:Basalt 用 122.6 GB 的 NVFP4 包,Strata 用 70.6 / 77.9 GB 的 IQ3 包,包大了 60–75%,慢是应该的。
补上同量化家族的 UD-IQ3_XXS(81.6 GB)之后,才有干净对照:
| 配置 | 包大小 | 加载 | 生成 | 预填充 | 首次首字 |
|---|---|---|---|---|---|
| Strata + IQ3_XXS | 70.6 GB | 63.2 s | 56.7 tok/s | 1316 tok/s | 1.5 s |
| Basalt + UD-IQ3_XXS | 81.6 GB | 6.1 s | 65.4 tok/s | 2003 tok/s | 57.2 s |
同一模型、同一量化家族、同一台机器:Basalt 快 15%,预填充快 52%,加载快 10 倍。
这推翻了我先前的一个判断
我根据 NVFP4 的数据写过:"Basalt 受限于存储带宽只有 36.6 tok/s"。现在看,慢的不是引擎,是那个 122.6 GB 的包:
NVFP4 122.6 GB → 31–37 tok/s ← 每 token 要搬的权重多 75%
UD-IQ3_XXS 81.6 GB → 65.4 tok/s ← 与 Strata 同档,反而更快
包体积对速度的影响,比引擎差异大得多。
为什么 Basalt 能反超
① 预填充快 52% (2003 vs 1316 tok/s),两个包量化档相同,说明 prompt 处理效率确实不同(Basalt 把 prompt 的专家分一部分给 CPU 算,--prefill-cpu-share 默认 0.6)。
② 加载 6.1 s vs 63.2 s:Basalt 用 mmap 惰性映射,启动几乎不读权重;Strata 启动即预载。代价是首次请求付 57 秒专家装载费。
③ 温度更低(73.8 vs 75.0 °C;两者都接近满载,但 Basalt 有更多时间等 I/O)。
两句实话
- ① Basalt 的包大 11 GB(81.6 vs 70.6),磁盘更占地方;
- ② 首次请求 57 秒在交互场景难接受,除非服务常驻、只预热一次。
选哪个取决于你是"常驻服务"还是"偶尔跑一次"。
六、内存边界:90.94 GB 的包,速度掉 47%
UD-IQ4_XS 比 81.6 GB 那个只大 11%,但正好跨过"能不能全塞进内存"这条线。
第一次启动直接失败
error: RAM ran out loading (1013 MiB free); use --resident-budget-gib 42
90.94 GB > 64 GB 物理内存,引擎默认不做超配,直接拒绝加载。
加 --resident-budget-gib 42 后能跑,代价是部分专家放 SSD
warning: model 60.9 GiB, free VRAM + RAM 55.4 GiB:
the rest is read from the SSD while generating (slow)
ram floor 7.2 GiB (4.0 file cache) of 50.7 GiB free,
5.5 GiB experts on SSD, RAM copy <= 42.0 GiB
结果
| 配置 | 包大小 | 生成 | 预填充 | 专家在哪 |
|---|---|---|---|---|
| Basalt UD-IQ3_XXS | 81.6 GB | 65.4 | 2003 | 全在内存 ✅ |
| Strata IQ3_XXS | 70.6 GB | 56.7 | 1316 | 全在内存 ✅ |
| Strata IQ3_S | 77.9 GB | 52.6 | 1216 | 全在内存 ✅ |
| Basalt UD-IQ4_XS | 90.9 GB | 34.8 | 1026 | 5.5 GiB 在 SSD ⚠ |
| Basalt NVFP4 | 122.6 GB | 31.1–36.6 | 942–950 | 大部分在 SSD ⚠ |
包大 11% → 速度掉 47%
包大 50% → 速度掉一半以上
内存是硬边界,不是软约束。
一个反直觉的排序
按速度排,最快的既不是最大也不是最小的包,而是刚好塞满内存的那个:
81.6 GB 65.4 tok/s ← 刚好卡在内存上限
90.9 GB 34.8 tok/s ← 超了 5.5 GiB,掉一半
122.6 GB 31–37 tok/s ← 超得更多
工程建议
- ① 64 GB 机器上,包超过约 55 GB 就要显式加
--resident-budget-gib(留系统和文件缓存),否则必定报内存不足; - ② 该参数能把超出的部分挤到 SSD,但要接受掉速;
- ③ 同尺寸下优先选"能全驻留"的量化档:宁可 IQ3_XXS 全驻留(65.4),不要 IQ4_XS 挤 SSD(34.8)。
七、上下文曲线:16K → 512K
同一包(NVFP4)、同一 prompt,只改 --max-context:
| 上下文 | 生成(中位) | 三次样本 | 预填充 | 首次首字 | 需要外推? |
|---|---|---|---|---|---|
| 16K | 36.6 tok/s | 28.9 / 37.6 / 36.6 | 11.55 s | 51.8 s | 原生 |
| 32K | 36.3 tok/s | 25.4 / 36.3 / 38.4 | 11.39 s | 52.6 s | 原生 |
| 64K | 35.0 tok/s | 25.4 / 35.0 / 36.3 | 11.17 s | 53.0 s | 原生 |
| 128K | 32.9 tok/s | 28.2 / 32.9 / 36.8 | 11.36 s | 52.7 s | 原生 |
| 256K | 31.1 tok/s | 27.2 / 31.1 / 37.0 | 11.66 s | 53.6 s | 原生上限 |
| 512K | 33.6 tok/s | 24.8 / 33.6 / 34.1 | 11.30 s | 53.7 s | YaRN×2 |
16K → 256K(16 倍),生成速度只掉 15%。 显存峰值几乎不动(15540–15680 MiB)。
为什么上下文几乎免费
122.6 GB 包 / 16 GB 显存 → 绝大多数专家不在显存里
每 token 的时间几乎全花在搬专家,而不是 attention
KV 涨的那点显存,对"专家缓存命中率"影响很小
在"模型远大于显存"的场景里,上下文长度不是速度的敌人,存储带宽才是。反过来说:想提速,加内存/换快盘比调上下文有效得多。
512K 的注意事项
--max-context 524288 --rope-scaling yarn --rope-scale 2
512K 超过原生训练长度(262144),必须外推。实测 33.6 tok/s 与 256K 的 31.1 相当——这是噪声,不是"512K 更快" (组内极差 8–13 tok/s)。而且 YaRN 会降低长上下文质量,这是所有外推方法的通病。
另外两个包也扫了:IQ3_XXS 与 IQ4_XS
| 上下文 | UD-IQ3_XXS(81.6 GB) | UD-IQ4_XS(90.9 GB) |
|---|---|---|
| 16K | 65.3 tok/s(57.6 / 65.3 / 69.4) | 30.6 tok/s(29.9 / 30.6 / 30.9) |
| 64K | 60.2 tok/s(54.0 / 60.2 / 62.0) | 33.9 tok/s(28.8 / 33.9 / 34.8) |
| 256K | 62.3 tok/s(57.6 / 62.3 / 66.6) | 32.5 tok/s(28.1 / 32.5 / 33.3) |
两个包同样"上下文几乎免费" :IQ3_XXS 65.3→62.3(-5%),IQ4_XS 30.6→32.5(噪声内,反而略高)。注意 IQ4_XS 整体只有 IQ3_XXS 的一半——这是内存边界造成的(第六节),不是上下文造成的。
真实长输入:最大喂到 24 万 token,针都命中
前面所有"预填充"只喂了 10978 token。这次直接构造 48K / 121K / 242K token 的中文长文(针埋在中点),看真实长度下的预填充吞吐与检索准确性。五个配置全测:
| 配置 | 48K 输入 | 121K 输入 | 242K 输入 |
|---|---|---|---|
| Strata IQ3_XXS | 30.3 s(1597 tok/s) | 67.6 s(1793 tok/s) | 152.4 s(1593 tok/s) |
| Strata IQ3_S | 30.9 s(1564 tok/s) | 68.1 s(1780 tok/s) | 155.1 s(1566 tok/s) |
| Basalt UD-IQ3_XXS | 22.8 s(2119 tok/s) | 57.1 s(2124 tok/s) | 182.3 s(1331 tok/s) |
| Basalt NVFP4 | 32.6 s(1483 tok/s) | 63.3 s(1915 tok/s) | 200.2 s(1212 tok/s) |
| Basalt UD-IQ4_XS | 34.2 s(1412 tok/s) | 73.1 s(1658 tok/s) | 200.7 s(1210 tok/s) |
表里是"一次性请求的总耗时"(预填充 + 生成几十个 token)。五个配置的检索全部命中。 另有 10K 档,但它是每次启动后的首个请求、含约 50 秒专家装载,不具可比性,未列入。
五个结论:
- ① 24 万 token 的长文五个配置全部能处理:都用掉 256K 窗口的 93%,检索全中;
- ② 衰减出现在接近上限时,不是线性增长时:
Basalt IQ3XXS:48K 2119 → 121K 2124(持平)→ 242K 1331(-37%) Basalt NVFP4 :48K 1483 → 121K 1915(上升)→ 242K 1212(-37%) Basalt IQ4XS :48K 1412 → 121K 1658(上升)→ 242K 1210(-27%) Strata IQ3XXS:48K 1597 → 121K 1793(上升)→ 242K 1593(持平) Strata IQ3_S :48K 1564 → 121K 1780(上升)→ 242K 1566(持平)
48K→121K 之间没有衰减,但 121K→242K 上 Basalt 掉三到四成、Strata 基本持平。折点在 12 万 token 附近,而且两个引擎在折点之后表现不同。
- ① 交叉点出现了:12 万以内 Basalt 快,24 万时 Strata 反超
48K 121K 242K Basalt IQ3XXS 2119 → 2124 → 1331 ← 快,然后崩 Strata IQ3XXS 1597 → 1793 → 1593 ← 一直稳
24 万 token 时 Strata 比 Basalt 快 16%(152 s vs 182 s)。 推测:接近满窗时 KV 缓存挤压专家缓存,Basalt 的专家换出机制开始频繁走 SSD; Strata 是 mmap 分页,退化更平缓。(这是推测,没有 profile 证据。)
- ① 短输入下的"包越大越慢"不成立:122.6 GB 的 NVFP4 在长输入上反超 90.9 GB 的 IQ4_XS (1915 vs 1658):NVFP4 有 Blackwell 硬件量化路径,IQ4_XS 的 SSD 溢出是纯 I/O 惩罚;
- ① 代价是"一次性等待" :121K 约 1 分钟,242K 要约 2.5–3.3 分钟。批处理可接受,交互式要谨慎。
实用长度表:多长才不算受罪
把三次实测的等待时间换成"人能不能等":
| 输入长度 | 实测耗时(IQ3_XXS) | 体感 | 适合场景 |
|---|---|---|---|
| 约 12K token | 12 秒量级(首次请求另加约 50 秒装载) | 可接受 | 交互式对话、改代码 |
| 48K token | 22.8 秒 | 稍等,能忍 | 读一份长文档、分析单个文件 |
| 121K token | 57.1 秒 | 明显卡顿 | 长文档问答、整库分析(批处理) |
| 242K token | 182.3 秒 | 三分钟不动 | 只适合离线批处理 |
换算成"每秒能处理多少 token"看的是吞吐,换算成"我要等多久"看的是总时长。
| 场景 | 建议上限 | 理由 |
|---|---|---|
| 交互式对话 / 改代码 | 32K 以内 | 20K 量级输入约 10 秒(按 2100 tok/s 线性估算,未单独实测) |
| 长文档问答 | 100–120K | 约 1 分钟,看一眼文档的合理代价 |
| 整库/超长分析 | 240K | 3 分钟一次,只能批处理 |
| 追求最快首字 | 8K–32K | 与上下文曲线的前段一致 |
说明:32K 那档的耗时是按吞吐线性估算的,没有单独实测;12K 那档包含首次专家装载, 不能直接和 48K/121K/242K 对比。有实测的只有后三档。
该怎么配
| 场景 | 建议上下文 | 理由 |
|---|---|---|
| 日常问答、改代码 | 8K–32K | 速度最高(36.6),显存压力最小 |
| 读长文档、分析整库 | 128K | 32.9 tok/s,覆盖绝大多数需求 |
| 需要极限长度 | 256K(原生上限) | 31.1 tok/s,不损质量 |
| 512K | 不建议 | 除非确实要喂 50 万字,且能接受质量下降 |
八、能力测试:86 个判定点(能力 70 + 视觉 16),量化档位拉不开差距
速度差异很大,但能力差异几乎没有。这一节是证据。
题库(全部可自动判定,不靠主观打分)
| 套 | 题数 | 内容 |
|---|---|---|
| 基础 | 10 | 算术、单位换算、中文词义、代码阅读、逻辑、JSON、长文检索、事实、摘要、格式 |
| 中等 | 6 | 两步折扣、日期推算、递归求值、数据求和、多约束输出、歧义计数 |
| 困难 | 6 | 精确字数、多跳检索、复合单位、异常类型、精确计数、概率分数 |
| 极限 | 3 | 排队约束、2^64、反转加一 |
| 代码执行 | 4 | 写 count_vowels/is_palindrome/fizzbuzz/merge_intervals,用测试用例真跑 |
| 长输出 | 3 | 1..100、前 20 个质数、10 行平方表 |
| 压力 | 11 | 1..300 长输出、20 项 JSON、平方和、严格长度、5 档检索、多针取第二、长文计数 |
| 多轮 | 12 | 3 组对话 × 4 轮(记忆/指代/约束延续) |
| 硬核计算 | 8 | 847×629、3^13、大数加法、进制转换、12!、浮点精确、含佣金净收益、复利 |
| 视觉 | 16 | 2 张图 × 2 个包,读中英文、数字、颜色、位置顺序 |
结果
| 配置 | 25 题 | 代码+长输出 | 压力 | 检索 | 多轮 | 硬核 | 合计 |
|---|---|---|---|---|---|---|---|
| Basalt + NVFP4 | 25/25 | 7/7 | 11/11 | 7/7 | 12/12 | 8/8 | 70/70 |
| Basalt + UD-IQ3_XXS | 25/25 | 7/7 | 11/11 | 7/7 | 12/12 | 8/8 | 70/70 |
| Basalt + UD-IQ4_XS | 25/25 | 7/7 | 11/11 | 7/7 | 12/12 | 8/8 | 70/70 |
| Strata + IQ3_S | 25/25 | 7/7 | 11/11 | 7/7 | 12/12 | 8/8 | 70/70 |
| Strata + IQ3_XXS | 24/25 | 7/7 | 11/11 | 7/7 | 12/12 | 8/8 | 69/70 |
唯一失分:IQ3_XXS 在「他借了我一本书有几种理解」用英文作答("Or I borrowed 10 yuan from him?"),违反「只输出数字」。这是指令遵循/语言一致性问题,不是推理能力问题。
四个具体证据
① 代码生成能真跑
count_vowels("Hello World") == 3
is_palindrome("A man, a plan, a canal: Panama") == True
fizzbuzz(15)[14] == "FizzBuzz"
merge_intervals([[1,3],[2,6],[8,10],[15,18]]) == [[1,6],[8,10],[15,18]]
所有写出来的函数全部通过测试用例,包括边界条件(空字符串、已排序、嵌套区间)。
② 长输出不崩
1..100 ✅ 1..300 ✅ 20 个质数 ✅ 20 项 JSON ✅
量化模型常见的"输出到一半跳号/截断"没有出现。
③ 精确计算全对
连 0.1+0.2 的 17 位展开(0.30000000000000004)都逐位正确;含 0.5% 佣金的股票净收益(571.02)、4.5% 复利 7 年(13608.62)也全对。
④ 20K 文档检索 100%
5 个深度(5%/25%/50%/75%/95%)各埋不同校准码,全部准确取出;三个针同时存在时,能正确回答"第二个""第三个"是哪个。
这一版修掉了首轮测试的设计缺陷:原来 5 档用同一个码,无法区分"真读到"与"巧合"。
视觉能力(Basalt 支持读图)
包里确实带视觉投影(vision/mmproj 866 MB、vision/text_vocab 10 MB)。启动加 --vision dynamic 即可:
| 问题(图 1:白底红字 SHILU 7391) | UD-IQ3_XXS | NVFP4 |
|---|---|---|
| 英文和数字 | ✅ SHILU 7391 | ✅ SHILU 7391 |
| 文字颜色 | ✅ 红色 | ✅ 红色 |
| 背景颜色 | ✅ 白色 | ✅ 白色 |
| 问题(图 2:中文标题 + 规格 + 三色圆) | UD-IQ3_XXS | NVFP4 |
|---|---|---|
| 中文标题 | ⚠ 答"本地推理测试"(漏 2026) | ⚠ 同 |
| 显存与内存 | ✅ 显存=16GB,内存=64GB | ✅ 同 |
| 左→右三圆颜色 | ✅ 红,绿,蓝 | ✅ 红色, 绿色, 蓝色 |
每包 7/8。 唯一失分我追查过,不是读不出:
Q: 第一行有没有数字?只输出那个数字 → 2026
Q: 逐字读出第一行全部内容 → 本地推理测试 2026
能逐字读对,只是被问"标题是什么"时把年份省了——回答风格问题,不是视觉缺陷。
这套能力测试的局限(诚实声明)
- ① 题目偏"可判定" :真正会被量化伤到的是长链推理、边缘知识、细微语感,这些难以自动判定;
- ② 没有主观维度:文风、啰嗦程度、拒答倾向,需要人评;
- ③ 代码题只覆盖 4 个经典函数,不代表真实项目里的长文件改写;
- ④ 视觉只测了静态图、短文本:复杂图表、手写体、多图对比、视频都没测(Flash-Next 支持视频解码,但需要带 NVDEC 的 FFmpeg 构建,本机未验证)。
九、长输出:稳态速度比短测更快
前面都是"400 token 的短测"。真实回答往往更长,于是补测单次生成 1600 token,并用流式时间戳按四分位看变化:
| 配置 | 短测(400 tok) | 长测(1600 tok) | 变化 | 四分位首→末 |
|---|---|---|---|---|
| Strata IQ3_XXS | 56.7 | 69.5 | +23% | 64.1 → 74.5 |
| Strata IQ3_S | 52.6 | 61.3 | +17% | 49.6 → 98.3 |
| Basalt UD-IQ3_XXS | 65.4 | 70.1 | +7% | 61.4 → 106 |
| Basalt NVFP4 | 36.6 | 37.8 | +3% | 38.9 → 37.9 |
结论一:短测会系统性低估速度。 400 token 里包含预热后最慢的那几十个 token;输出越长,快的部分占比越大。
结论二:KV 增长没有拖慢速度。 除 NVFP4 外,其余三组末段速度高于首段——投机解码命中率的波动压过了 KV 增长的代价。
结论三:只有 NVFP4 是"平"的。 四分位 38.9 → 37.9 几乎不动,因为它的瓶颈是稳定的 SSD 带宽,不随计算波动。
十、测量方法本身会骗人(重要)
我第一版脚本量出的 IQ3_XXS 是 180.8 tok/s,修正后是 42.3 tok/s,差 4 倍,不是硬件,是代码。(42.3 是那一版口径;统一用 v2 脚本后为 56.7,差别来自输出长度与缓存状态,见第四节。)
错在哪:我把 TTFT 定义成"第一个 delta.content 到达的时刻",然后 tok/s = completion_tokens / (总时长 - TTFT)。
但这批模型是推理模型,先吐 delta.reasoning_content,思考完才吐 delta.content:
completion_tokens = 343(含思考)
TTFT 按 content 算 = 12.31 s(思考完了才等到 content)
实际总时长 = 6.31 s
→ 分母变成负数/极小值 → 报出 180+ tok/s,纯属假象
修正:把 reasoning_content 也算作流式输出,TTFT 从第一个任意 delta 开始计时。
给所有人的提醒:测推理模型的速度,先确认你量的到底是"思考+输出"还是"只算输出"。
另外两个必踩的坑
① max_tokens 太小会让推理模型"想不完"
我第一版能力测试用 24 token 上限,结果模型把 token 全花在思考上,content 为空,三档配置全被判 0 分。放大到 512 后才是真实水平(10/10)。
② 停实例要等端口真正释放
70–120 GB 模型卸载要 1–4 分钟。--stop 返回不代表端口已释放,否则下一组会连到上一个模型。脚本里改成:等端口空闲最多 40 秒,还不行就强杀监听进程。
③ 换个题库,名次会翻转——所以小样本评测别当真
我另外拿两个"全驻留显存"的小模型跑了同一批题,结果是:
- Qwen2.5-Coder-14B:易题 6/10,难题 8/10
- gpt-oss-20b:易题 10/10,难题 6/10
同一个模型,换一套题,名次直接反过来。 而且每组跑 3 次,逐题结果完全一致,说明分数是确定的,不稳定的永远是题。
所以"哪个模型更强"这类结论,除非题库公开、样本足够、判分口径写清楚,否则不该写进文章。本文只保留"这两套题在这台机器上发生了什么",不据此推断任何模型的能力上限。
十一、在 Windows 上把 Basalt 跑起来:8 个坑
这一节是"让 Basalt 在这台机器上启动"的全部代价,每条都有现场证据。
坑 1:CUDA 13 不必装 Toolkit
basalt.exe 直接运行退出码 0xC0000135(STATUS_DLL_NOT_FOUND),缺 cublas64_13.dll 等。
从 NVIDIA 组件清单拿两个包,解压 DLL 即可:
redistrib_13.0.0.json
→ cuda_cudart/windows-x86_64/...-13.0.48-archive.zip (2.7 MB)
→ libcublas/windows-x86_64/...-13.0.0.19-archive.zip (381 MB)
没装任何 CUDA Toolkit,没改系统环境,只把 DLL 目录加进 PATH。验证:basalt.exe --gpu-plan 输出 {"name":"RTX 5060 Ti","warning":"","error":""}。
注意:
curl取清单必须加-L,否则 301 返回空。
坑 2:pip 清华源 403
依赖装二十分钟没动静,报 pypi.tuna.tsinghua.edu.cn → 403。换阿里云源 15 秒装完(--trusted-host mirrors.aliyun.com)。
坑 3:中文路径会让 Python 服务读不到模型
包放在 G:\Ds_harness\project\作业... 时,服务报的路径是:
G:\Ds_harness\project\浣滀笟\basalt-2026-11-15\models...
↑ 作业 被按 GBK 解码成乱码
解法:包放纯 ASCII 路径(G:\Ds_harness\project\作业\basalt-2026-11-15\models),并加 PYTHONUTF8=1。
坑 4:不要用 venv 的 python.exe 当父进程
同一个写入操作,两种解释器结果相反:
| 解释器 | 结果 |
|---|---|
.venv\Scripts\python.exe(复制出来的、无签名) | ❌ 被拒 |
C:\TOOS\python312\python.exe(系统安装、有信誉) | ✅ 放行 |
解法:用系统 Python 当父进程
C:\TOOS\python312\python.exe -m serve.server ^
--model <pack>.basalt ^
--engine-bin <root>\bin\basalt.exe ^
--port 8080 --kv int8 --max-context 262144
basalt.exe serve 那条路不行:它让 basalt.exe(无签名)成为父进程,子进程写操作被拒。
实测(Kaspersky + 火绒全开) :[server] ready、/v1/models 有响应、生成 40 token 成功。这套启动方式在杀毒全开时可用,不需要关任何防护。
坑 5:引擎只能写自己所在的目录树(这条最容易误判)
视觉解码需要把图片写到临时目录,默认 TEMP 在 C:\Users...\Temp,于是报:
the image could not be read: cannot write <TEMP>\basalt-vision-xxx<hash>.part
第一反应是"杀毒拦程序"。做逐路径对照(让引擎自己写 --dump-routing 文件)才发现真相:
| 目标路径 | 结果 |
|---|---|
...\basalt-v0.4.0-windows-x64\dump-test.txt | ✅ 能写 |
...\basalt-2026-11-15\dump-test.txt | ✅ 能写 |
C:\Users\zsl\AppData\Local\Temp\dump-test.txt | ❌ 被拦 |
D:\basalt-home\dump-test.txt | ❌ 被拦 |
G:\Ds_harness\project\作业\basalt-2026-11-15\models\dump-test.txt | ❌ 被拦 |
不是"程序不被信任",是"只能写自己所在的目录树"(火绒对未签名程序的默认策略)。
解法:把 TEMP 指到引擎目录,一行环境变量
$env:TMP = "G:...\basalt-v0.4.0-windows-x64\tmp"
$env:TEMP = $env:TMP
设完视觉即工作,不需要加白、不需要关杀毒。
坑 6:不是病毒——文件与官方发布字节一致
| 项 | 官方(GitHub API) | 本地 |
|---|---|---|
| 大小 | 64,881,151 字节 | 64,881,151 字节 |
| SHA-256 | e781d76d...01fe7ca1 | 完全相同 |
| 构建者 | github-actions[bot](CI 构建) | — |
| Defender 威胁记录 | 无 | — |
拦截是行为型(无签名 + CUDA + 高频写文件),不是病毒库命中。
坑 7:27B 的 NVFP4 包在 16GB 卡上装不下
Qwen3.8-27B-QUASAR-NVFP4.basalt(19.7 GB)加载后:
qwen35: 1288 tensors, 16.00 GiB on the GPU, 2.37 GiB of embedding; 0.00 GiB free
error: 1 session(s) of 2048 cells need 2418 MiB, 0 MiB are free
16GB 卡可用约 15.5 GiB,权重本身就超了;且这版 27B 每层投影都是 NVFP4(没有可换出的专家),--expert-cache、--vram-reserve-mib、--max-context 256 都腾不出空间。
结论:这是 dense 模型,Basalt 的分层机制(只放专家)对它无效。16GB 机器要跑本地大模型,选 MoE + 小激活参数。
坑 8:generate 子命令不认,--stats 也不认
basalt: error: unknown argument: generate
不带子命令(默认就是 generate 模式)才跑得通:
bin\basalt.exe --model X.basalt --tokens "1,2,3" --max-new 8
--stats 只在 serve 侧有效。
十二、复现这套测试
所有脚本在 basalt-2026-11-15 目录下,Node 零依赖。
环境准备
1. CUDA 13 运行时:NVIDIA redist 取 cudart + cublas,DLL 放 _cuda\bin
2. Basalt v0.4.0 windows-x64 解压到 basalt-v0.4.0-windows-x64\
3. 模型包(.basalt)放 ASCII 路径,如 G:\Ds_harness\project\作业\basalt-2026-11-15\models\
4. 缓存重定向:HOME/USERPROFILE → D:\basalt-home
5. TEMP/TMP → <basalt-root>\tmp(否则视觉不可用,见坑 5)
速度
$env:BASALT_CTX='262144'
node 测速v2.mjs basalt "G:\Ds_harness\project\作业\basalt-2026-11-15\models\xxx.basalt" qwen3 标签
node 测速v2.mjs strata "G:\Strata\models\IQ3_XXS" iq3_xxs 标签
输出:加载时长、TTFT、3 次生成(中位)、预填充、资源峰值(0.5s 采样)、截图、录屏。
能力
node 测能力2.mjs <kind> <包> <期望名片段> <标签> # 25 题(A/B/C/D 四档)
node 测难度.mjs <kind> <包> <期望名片段> <标签> # 4 代码 + 3 长输出
node 测压力.mjs <kind> <包> <期望名片段> <标签> # 11 题
node 测检索.mjs <kind> <包> <期望名片段> <标签> # 7 题(5 档深度 + 多针)
node 测多轮.mjs <kind> <包> <期望名片段> <标签> # 3 组 × 4 轮
node 测硬核.mjs <kind> <包> <期望名片段> <标签> # 8 道精确计算
视觉与汇总
node 测视觉.mjs "G:\Ds_harness\project\作业\basalt-2026-11-15\models\xxx.basalt" 标签 # 单图 3 题
node 测视觉2.mjs "G:\Ds_harness\project\作业\basalt-2026-11-15\models\xxx.basalt" 标签 # 双图 5 题
node 汇总数据.mjs # 生成对比表
大包超出内存时必须加的参数
--resident-budget-gib 42 # 64GB 机器,包 > 55GB 时必需
十三、局限与诚实声明
- ① 只测了一台机器,而且是 DDR4 平台:RTX 5060 Ti 16GB + 64GB DDR4-3600(双通道 57.6 GB/s)。若换到 DDR5-5600(双通道 89.6 GB/s,+55% 带宽),本文的绝对速度会更好看,尤其是第六节"专家溢出到 SSD"之后的掉速会缓和——但 "内存是硬边界"这个排序不会变,只是边界位置会整体右移。
- ② 换成 24GB 显存或更大内存,排序也可能变:那会让 122.6 GB 的 NVFP4 包也接近全驻留。
- ③ 上下文上限只验证了"能配置" :所有预填充测试只喂 10978 token,填满 256K(约 25 万 token)时的表现未测。
- ④ 首次 52–57 秒的冷启动没做优化:理论上可以预热、可以换
--vision-external之类的路径,本文只记录默认行为。 - ⑤ 长输出稳态只测了 4 组:UD-IQ4_XS 因走 SSD 速度不稳,未纳入(第九节)。
- ⑥ 量化档位没测 4bit 以上:UD-IQ4_XS 已经跨过内存边界,更高档只会更慢,没有测试价值。
- ⑦ Basalt 官方明确写「Quality is not measured on Windows」:本文只讨论可判定的能力与速度,不评价输出质量。
数据、脚本、截图、录屏全部在本机 G:\Ds_harness\project\作业\basalt-2026-11-15 下,可复现。
十四、生产力实测:10 道真实工作题,选型结论被推翻
前面所有速度数据都是同一段 prompt 反复跑。但真实工作是每道题都不一样—— 这会彻底改变结论。
题库(10 道,全部可执行验证)
| 题 | 干什么 | 怎么判分 |
|---|---|---|
| 写 SQL | 每品类销量最高的商品 | 真跑 sqlite,比对结果集 |
| 写函数 | 去重保序 + 分页 | 真跑 5 个用例 |
| 修 bug | 二分查找(浮点除法 bug) | 真跑 5 个用例(含空数组) |
| 结构化抽取 | 中文采购单 → JSON 6 字段 + 3 品项 | 逐字段精确比对 |
| 数据统计 | 20 天销量:中位数/均值/总体标准差 | 数值比对(18.5 / 18.5 / 6.26) |
| 格式转换 | JSON → CSV(含逗号、引号的转义) | 逐行精确比对 |
| 写正则 | 提取大陆手机号 | 真跑:命中 2 个真号、排除 2 个假号 |
| 约束摘要 | ≤120 字且必须含 3 个指定数字 | 长度 + 关键词双重判定 |
| 重构 | O(n²) → O(n),保持语义 | 真跑等价性 + 2 万元素 1 秒性能门槛 |
| 文档问答 | 从 300 字技术说明里取一个数 | 精确匹配 |
得分与耗时
| 配置 | 得分 | 10 题总耗时 | 首题耗时 | 后续平均 |
|---|---|---|---|---|
| Strata IQ3_XXS | 10/10 | 118.7 s | 15.7 s | 11.4 s |
| Strata IQ3_S | 10/10 | 143.8 s | 21.8 s | 13.6 s |
| Basalt UD-IQ3_XXS | 9/10 | 197.4 s | 74.5 s | 13.7 s |
| Basalt UD-IQ4_XS | 10/10 | 238.1 s | 79.0 s | 17.7 s |
| Basalt NVFP4 | 10/10 | 305.8 s | 85.8 s | 24.5 s |
Basalt UD-IQ3_XXS 唯一失分:总体标准差题答了 6.52(正确 6.26,样本标准差 6.43,它两个都不是,是算错了)。其余九题全对。
关键发现:Basalt 的速度优势在真实工作里消失了
| 配置 | 同一 prompt 重复跑 | 10 道不同题跑 | 落差 |
|---|---|---|---|
| Strata IQ3_XXS | 56.7 tok/s | 58.3 tok/s | 无 |
| Basalt UD-IQ3_XXS | 65.4 tok/s | 37.3 tok/s | -43% |
| Basalt NVFP4 | 36.6 tok/s | 22.8 tok/s | -38% |
| Basalt UD-IQ4_XS | 34.8 tok/s | 28.4 tok/s | -18% |
(这里的 tok/s = 该组所有题目的输出 token 总和 ÷ 总耗时,含首字延迟)
原因:Basalt 的专家缓存是按"最近用过的 prompt"热的。每来一道新题,命中的专家就换了一批,又要从内存/SSD 现场搬,第一题 74.5 秒就是这个代价,之后每题也还有一部分冷启动。而 Strata 启动时就把全部权重预载进内存,换个问题也不掉速。
这对选型意味着什么
我之前根据"同一 prompt 重复跑"的数据得出"短输入选 Basalt"——这个结论是错的,因为那个测法正好落在 Basalt 的主场(缓存命中),而真实生产力场景是每道题都不一样。
修正后的建议:
| 场景 | 选它 | 理由 |
|---|---|---|
| 日常写代码 / 写 SQL / 改 bug(题目千变万化) | Strata + IQ3_XXS | 10/10、总耗时最短 118.7 s、换题不掉速、冷启动 1.5 秒 |
| 批处理:同一模板反复调用 | Basalt + UD-IQ3_XXS | 缓存热了之后 65.4 tok/s 确实最快 |
| 要读图 | Basalt + 任一包 | 视觉只在 Basalt 侧验证通过 |
| 超长上下文(>20 万 token) | Strata | 24 万 token 时 152 s vs 182 s |
一句话:真正当生产力用,选 Strata + IQ3_XXS。 它的 10 题总耗时比 Basalt 快 66%(118.7 vs 197.4 秒),准确率还高(10/10 vs 9/10),内存占用也最低(57.4 GB)。
这组测试的局限
- ① 10 道题都是单轮、都要求输出代码或结构化数据,不代表写长文、闲聊、头脑风暴;
- ② 判分只看"能不能跑通/字段对不对",不看代码风格、可读性、注释质量;
- ③ 每题只跑一次(temperature 0),没有做多次取多数。
十五、落地:把两个引擎接进三个客户端(Claude Code / codex / DSH)
测完只是第一步。要吃上这些数据,得把它们接进日常用的客户端。这一节记的是实测通过的配置,包括踩到的四个坑。
15.1 先定 256K
两个引擎都能开 262144:
| 引擎 / 包 | 实测证据 | 备注 |
|---|---|---|
| Strata + IQ3_XXS | /health → max_context: 262144 | KV 在 32K cells 之后溢到 pinned RAM(约 1.69 GiB) |
| Basalt + UD-IQ3_XXS | /props → n_ctx: 262144 | 实测 29,371 token 输入命中埋点 |
| Basalt + NVFP4 | /props → n_ctx: 262144 | 同上 |
Strata 以前一直用 128K,是因为测试时的设置如此,不是它的上限——它同样支持 256K。
15.2 三个客户端怎么填
① Claude Code(走 Anthropic 协议,Basalt 与 Strata 都实现了 /v1/messages)
$env:ANTHROPIC_BASE_URL='http://127.0.0.1:8080'
$env:ANTHROPIC_AUTH_TOKEN='basalt-local' # 本地服务不校验
claude --model "Qwen3.8-Flash-Next UD-IQ3_XXS"
模型名必须逐字一致(含空格)。实测:填 claude-sonnet-4-5 会直接 404。 Claude Code 会打印 [claude-code:unrecognized_model],忽略它,请求正常。
② codex(走 OpenAI Responses 协议)
# C:\Users\zsl.codex\basalt-iq3.config.toml
model = "Qwen3.8-Flash-Next UD-IQ3_XXS"
model_provider = "basalt"
model_context_window = 262144
model_auto_compact_token_limit = 131072
[model_providers.basalt]
base_url = "http://127.0.0.1:8080/v1"
wire_api = "responses" # ⚠️ 只能填 responses,填 chat 会直接报错退出
env_key = "BASALT_API_KEY"
stream_idle_timeout_ms = 900000
用法:codex --profile basalt-iq3 exec --skip-git-repo-check "任务"
③ DSH(cordis.patch.yml 里加一个 provider)
basalt-local:
displayName: Basalt (本机)
api: openai-completions
baseURL: http://127.0.0.1:8080/v1
headers: { Authorization: Bearer basalt-local }
defaultContextWindow: 262144
models:
- id: Qwen3.8-Flash-Next UD-IQ3_XXS # contextWindow: 262144
- id: Qwen3.8-Flash-Next NVIDIA-NVFP4 # contextWindow: 262144
改完要重启 DSH(配置在启动时加载)。
15.3 启动/停止脚本的四个坑
坑 1:Start-Job 起的服务会随 shell 死
第一版启动器用 Start-Job,命令窗口一关,78 GB 的模型就没了。必须改成:
Start-Process -FilePath $PY -ArgumentList $argv -WorkingDirectory $ROOT -WindowStyle Hidden
坑 2:.ps1 里有中文路径,PowerShell 5.1 会按 ANSI 读
报错 pack not found: G:...\浣滀笟...。存成 UTF-8 with BOM 即可。
坑 3:.bat 里有中文路径,控制台代码页可能不是 936
双击时正常,从其他终端调用就乱码。首行加 chcp 936 >nul 钉死。
坑 4:报告里千万别写"起不来就是杀毒的错"
真实原因往往是路径:引擎只能写自己所在目录树。所以 TMP/TEMP 要指向 <basalt-root>\tmp,否则视觉解码和日志落盘都会失败,而报错看起来像权限/杀毒问题。
15.4 端口互斥表(8080)
| 当前在跑 | 切过去要先 |
|---|---|
| Strata IQ3_XXS(256K) | 停 Basalt 或直接启动脚本(会自动停对方) |
| Basalt UD-IQ3_XXS | 同上 |
| Basalt NVFP4 | 同上 |
一键脚本在 桌面\00-开关 下:Strata 开关 与 Basalt 开关 各自有启动/停止/状态 + Claude Code / codex 启动器 + 使用手册。
15.5 一句话
模型 ID 逐字抄、协议选对(Anthropic / Responses)、TEMP 指对、服务脱离终端—— 这四件事做对,三端就都能用;做错任何一件,报错都会指向错误的方向。
十六、结语:这项技术解决了什么,以及它没解决什么
这项技术最关键的转变只有一句话:把"显存装不下"变成了"内存够不够"。
16 GB 卡跑 284B,之前差 18 倍、根本不可能;现在只是慢——Strata 用 mmap 分页做到 56.7 tok/s (首字 1.5 秒),Basalt 用专家换出走 65.4 tok/s(加载 6 秒)。代价也能测:82 GB 全驻留 65.4 tok/s,多溢出 5.5 GiB 到 SSD 就掉到 34.8。
16.1 选型矩阵:按任务形态,而不是按"模型大小"
| 你的任务形态 | 该选什么 | 依据 |
|---|---|---|
| 只求低延迟、不在乎长上下文 | 小模型,全驻留显存 | 延迟最低、无冷启动;能力如何需自己测 |
| 日常写代码、改 bug、读文档 | Strata + 70–78 GB 包(刚好塞满内存) | 首字 1.5 秒,换问题不掉速,24 万 token 可用 |
| 长任务、要最高质量 | Basalt + 最大包(NVFP4 122.6 GB) | 量化最深,速度 31–37 tok/s 可接受 |
| 同一模板批量反复跑 | Basalt + UD-IQ3_XXS | 专家缓存热了之后 65.4 tok/s 最快 |
| 超长文档(>20 万 token) | Strata(任一大包) | 24 万 token 时 152 s,比 Basalt 快 16% |
| 极复杂、多模态、要最新知识 | 云端模型 | 本地在这几项上没有优势 |
一句话:显存决定"能不能跑",内存决定"跑多快",任务形态决定"该不该用它跑"。
16.2 能不能"当生产力",最后卡在工程细节上
实测里有一半时间不是花在调模型,而是花在这些"最后一公里":
- ① 启动方式:必须用受信任的系统 Python 当父进程,
basalt.exe serve那条路会被 HIPS 拦; - ② 临时目录:引擎只能写自己所在的目录树,
TEMP不指过去,视觉和落盘全失败; - ③ 协议适配:Claude Code 走 Anthropic、codex 走 Responses、DSH 走 openai-completions,模型 ID 还得逐字一致;
- ④ 启动脚本:服务必须脱离终端(
Start-Process),Start-Job会随 shell 一起死。
这四条任何一条没做对,"模型能跑"就变不成"我每天在用"。
16.3 最后
分层推理引擎把"小显存做本地生产力"从不可能变成了现实,代价是内存与磁盘带宽成了新的天花板,外加几十秒的冷启动。
至于"小模型还是大模型",本文的数据量不足以回答那件事——它只说明这两套题在这台机器上发生了什么。真要判断,办法是拿你自己的 20–30 道真实任务跑两遍,谁的返工少用谁。
不是"越大越好",也不是"越快越好",而是"任务形态 × 内存预算"决定你该用哪一个。
本文首发于 shilu.dpdns.org ,同步发布于 CSDN / 掘金 / 知乎。
原文地址(含完整配图和后续更新):
shilu.dpdns.org/articles/20…