给 LLM 请求加 service_tier: priority,我测了 8 次才发现自己在骗自己

1 阅读3分钟

起因

Codex 有 Fast Mode。习惯了之后,回到本地 Agent(我用的是 DSH / DeepSeek Harness)就觉得首字慢。

链路上能"提速"的地方其实有好几个,但大部分是假的:

做法快了吗代价
提示词让模型少说点显得快输出变短,该解释的不解释
自动降 reasoning effort快复杂任务直接崩
换个小模型快不是同一个东西了
请求服务端优先队列看服务商无(前提是服务商真有)

只有最后一个符合"同一个模型、同样的思考量"。

一、参数怎么塞进去

OpenAI 兼容接口里,这个字段叫 service_tier: "priority"。

问题在于 DSH 的请求对象是深冻结的:

// 插件在 llm/stream 里能看到的 options 是只读的,改不动
'llm/stream'(options, next) // options 已 Object.freeze

所以只能等到底层适配器把 body 序列化成 JSON 之后,在 fetch 这一层注入:

const patched = {
  ...init,
  body: JSON.stringify({ ...JSON.parse(body), service_tier: 'priority' }),
};

只加一个字段,别的原样。已经带了 service_tier 的请求不覆盖(尊重调用方)。

这里踩过一个坑:本机有个代理会把 globalThis.fetch 再包一层, 我们的钩子被包到了里面,globalThis.fetch === 我们的函数 这个判断失效, 于是"看起来装了、其实一次没注入"。后来加了自愈(每 2 秒比对一次,被覆盖就重新包), 并且把状态拆成两个字段:armed(是不是最外层)和 delivering(最近 15 秒有没有真的收到请求)。 现在看 delivering 才有意义。

二、怎么证明它有用(这才是难的部分)

我的第一版特别天真:跑一次 A/B,快就点亮。

结果第一次就翻车了 —— 单轮跑出 +23.6%,我直接判成"已验证", 然后连跑三次:−7.8%、−0.1%、+9.7%。

同一台机器、同一个模型、同一分钟。那个 +23.6% 是噪声。

改了什么

  1. 单轮不下结论:samples < 3 一律返回 inconclusive,文案直接写"这次快了 X%,但一次不算数"。
  2. 按历史聚合:每个 端点|模型 保留最近 5 次探测,取最近 3 次有效结果, 至少 2 次快 ≥15%(且多数轮次更快)才判 verified;全不快判 accepted-no-effect;一快一不快判 unknown(保持关闭,等复现)。
  3. 硬信号优先:服务商返回 400/422 判 rejected → 永不再试。

8 次探测的真实数字

模型 DeepSeek-V4.1-Flash-1017,作者自己的 OpenAI 兼容中转,交错 standard / fast,比首字延迟:

#standard 中位fast 中位Δ
11187 ms1117 ms+5.9%
21427 ms1163 ms+18.5%
31241 ms1225 ms+1.3%
41303 ms1236 ms+5.2%
5单轮单轮+23.6%(假阳性)
61110 ms1197 ms−7.8%
71149 ms1150 ms−0.1%
81382 ms1248 ms+9.7%

中位数 +5.5% —— 在噪声里。结论写进仓库:accepted-no-effect。

参数被接受了(没报错),服务端没当回事。这就是大多数中转的现状。

三、附带做对的几件小事

  • TTFT / tok/s 从真实流里量,不是拿总时长除 token 数估的。
  • 429 不硬怼:读 Retry-After(秒数或 HTTP date 都支持),把下一个请求压住,只延迟、不重试、不换 key。
  • 开关诚实:判定无效时开关照样能拨,旁边写明"Fast 未生效"。

四、所以这东西对谁有用

  • 你在用 OpenAI 官方 API(那边文档写了优先档)→ 装上,跑一次探测,可能真快。
  • 你在用中转 → 装上,30 秒知道这家中转有没有给你开快车道。大概率没有,但你现在有证据。
  • 你只是想要 TTFT 数字 → 它顺手量。

安装

插件面板里填(不需要 npm 账号):

github:iambubu0523/dsh-turbo

仓库:github.com/iambubu0523… MIT / 零依赖 / 零构建 / 卸载删两个 JSON 即可。


最后一句:这次实验最大的产出不是插件,是那三条工程约束。 如果你也做过类似的"加速",先问自己一句:这个数字,重跑还在吗?