起因
Codex 有 Fast Mode。习惯了之后,回到本地 Agent(我用的是 DSH / DeepSeek Harness)就觉得首字慢。
链路上能"提速"的地方其实有好几个,但大部分是假的:
| 做法 | 快了吗 | 代价 |
|---|---|---|
| 提示词让模型少说点 | 显得快 | 输出变短,该解释的不解释 |
| 自动降 reasoning effort | 快 | 复杂任务直接崩 |
| 换个小模型 | 快 | 不是同一个东西了 |
| 请求服务端优先队列 | 看服务商 | 无(前提是服务商真有) |
只有最后一个符合"同一个模型、同样的思考量"。
一、参数怎么塞进去
OpenAI 兼容接口里,这个字段叫 service_tier: "priority"。
问题在于 DSH 的请求对象是深冻结的:
// 插件在 llm/stream 里能看到的 options 是只读的,改不动
'llm/stream'(options, next) // options 已 Object.freeze
所以只能等到底层适配器把 body 序列化成 JSON 之后,在 fetch 这一层注入:
const patched = {
...init,
body: JSON.stringify({ ...JSON.parse(body), service_tier: 'priority' }),
};
只加一个字段,别的原样。已经带了 service_tier 的请求不覆盖(尊重调用方)。
这里踩过一个坑:本机有个代理会把 globalThis.fetch 再包一层,
我们的钩子被包到了里面,globalThis.fetch === 我们的函数 这个判断失效,
于是"看起来装了、其实一次没注入"。后来加了自愈(每 2 秒比对一次,被覆盖就重新包),
并且把状态拆成两个字段:armed(是不是最外层)和 delivering(最近 15 秒有没有真的收到请求)。
现在看 delivering 才有意义。
二、怎么证明它有用(这才是难的部分)
我的第一版特别天真:跑一次 A/B,快就点亮。
结果第一次就翻车了 —— 单轮跑出 +23.6%,我直接判成"已验证", 然后连跑三次:−7.8%、−0.1%、+9.7%。
同一台机器、同一个模型、同一分钟。那个 +23.6% 是噪声。
改了什么
- 单轮不下结论:
samples < 3一律返回inconclusive,文案直接写"这次快了 X%,但一次不算数"。 - 按历史聚合:每个
端点|模型保留最近 5 次探测,取最近 3 次有效结果, 至少 2 次快 ≥15%(且多数轮次更快)才判verified;全不快判accepted-no-effect;一快一不快判unknown(保持关闭,等复现)。 - 硬信号优先:服务商返回 400/422 判
rejected→ 永不再试。
8 次探测的真实数字
模型 DeepSeek-V4.1-Flash-1017,作者自己的 OpenAI 兼容中转,交错 standard / fast,比首字延迟:
| # | standard 中位 | fast 中位 | Δ |
|---|---|---|---|
| 1 | 1187 ms | 1117 ms | +5.9% |
| 2 | 1427 ms | 1163 ms | +18.5% |
| 3 | 1241 ms | 1225 ms | +1.3% |
| 4 | 1303 ms | 1236 ms | +5.2% |
| 5 | 单轮 | 单轮 | +23.6%(假阳性) |
| 6 | 1110 ms | 1197 ms | −7.8% |
| 7 | 1149 ms | 1150 ms | −0.1% |
| 8 | 1382 ms | 1248 ms | +9.7% |
中位数 +5.5% —— 在噪声里。结论写进仓库:accepted-no-effect。
参数被接受了(没报错),服务端没当回事。这就是大多数中转的现状。
三、附带做对的几件小事
- TTFT / tok/s 从真实流里量,不是拿总时长除 token 数估的。
- 429 不硬怼:读
Retry-After(秒数或 HTTP date 都支持),把下一个请求压住,只延迟、不重试、不换 key。 - 开关诚实:判定无效时开关照样能拨,旁边写明"Fast 未生效"。
四、所以这东西对谁有用
- 你在用 OpenAI 官方 API(那边文档写了优先档)→ 装上,跑一次探测,可能真快。
- 你在用中转 → 装上,30 秒知道这家中转有没有给你开快车道。大概率没有,但你现在有证据。
- 你只是想要 TTFT 数字 → 它顺手量。
安装
插件面板里填(不需要 npm 账号):
github:iambubu0523/dsh-turbo
仓库:github.com/iambubu0523… MIT / 零依赖 / 零构建 / 卸载删两个 JSON 即可。
最后一句:这次实验最大的产出不是插件,是那三条工程约束。 如果你也做过类似的"加速",先问自己一句:这个数字,重跑还在吗?