Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步

0 阅读14分钟

2026 年 9 月 15 日,TypeSafe AI 发布 Jev。 六到七周内,Cloudflare、微软、OpenAI、亚马逊全部推出同类;OpenRouter 上一周 15 亿次调用打到 TypeSafe 的模型上;10 月,决策模型占了 Vercel 模型路由四分之一以上的请求。

但同一时间,Jev 在第三方 JevBench 的托管 API 榜上排第 15–18 名;一个 2,000 封邮件的钓鱼判定测试里,它只有 62.6%,输给 Claude Haiku 4.5 的 81.3%。

这两个事实同时为真。这篇文章把它们拼起来看:Jev 到底是什么、快和便宜从哪来、现在有哪些能打的同类、什么场景该用、以及怎么在半天内跑通第一个可用版本。

fig1-two-paths.png

先说结论:

  • Jev 不是「更小的 LLM」,它是一个接口不同的模型:输入 state 加一组带类型的问题,输出选项概率,不做 token 生成。
  • 快和便宜来自「一次前向 + 所有问题并行求值」,但官方那个「193 倍 / 444 倍」是对着「逐 token 吐 JSON」的稻草人测出来的,自己算一遍更靠谱。
  • 它真正值钱的是校准与类型安全,不是「零幻觉」这个营销说法。类型安全保证答案在你的选项里,不保证答案是对的。
  • Jev 已经不是最强的那一个,但它的接口正在变成事实标准;选型别只看榜首,落地只信你自己那 300 条标注。

一、Jev 到底在做什么

一句话:把「判断」从「生成」里拆出来,做成一次函数调用。

常规做法是让聊天模型输出 {"category": "billing", "confidence": 0.8},再用正则或 JSON parser 抠出来。这条链路有三个绕不开的问题:

  1. 输出是串行的。模型要一个 token 一个 token 地写完,而分类任务本身不需要序列;
  2. 那个 0.8 是文本,不是概率。它和前面的字出自同一套下一个 token 预测,没有义务等于真实命中率;
  3. 你只拿到被选中的那个选项,拿不到完整分布,也就没法做「0.8 以上自动执行、0.5–0.8 升级、以下转人工」的分层策略。

Jev 换了个契约。一次请求只有三个必填字段:

{
  "model": "jev-latest",
  "state": "客户消息、工单、日志、合同段落,或一个 JSON 对象",
  "questions": {
    "team": {
      "type": "choice",
      "instructions": "这条消息应该由哪个团队处理?",
      "criteria": {
        "billing": "扣费、发票、退款、支付方式",
        "technical": "Bug、报错、宕机、集成问题",
        "account": "登录、改密码、权限、账户设置"
      }
    }
  }
}

响应里没有一句话,只有答案和分布:

{
  "model": "jev-1.14.0",
  "answers": {
    "team": {
      "type": "choice",
      "choice": "billing",
      "probabilities": { "billing": 0.88, "technical": 0.09, "account": 0.03 },
      "confidence": 0.81
    }
  },
  "usage": { "input_tokens": 412, "output_tokens": 3 }
}

注意 usage.output_tokens 是 3 而不是 0——输出仍然计 token,只是不计费。

四种原语,覆盖绝大多数「判断」

原语回答什么配置返回
Choice答案是若干选项之一instructions + 最多 255 个选项及描述choice + 完整 probabilities + confidence
Score答案落在一个有序量表上instructions + 2–10 个等级score(概率加权期望)+ legend + probabilities + confidence
Noul一个陈述是否为真instructions + 可选的 true/false 描述noul(0–1 的概率),没有单独 confidence
Box目标在图片里的位置四边相对坐标box: {top, bottom, left, right},仅 1.14 支持

两个容易被忽略的细节:

第一,问题之间是并行的。 state 只读一次,四个问题共享同一份上下文,官方说「增加问题数量几乎不影响响应时间」。这跟「串行调四次 LLM」是数量级的差别,也是它最适合做「一次判断多个维度」的原因。

第二,confidence 不是「这题答对的概率」。 它是从分布形状算出来的统计量,Choice 的公式是:

confidence = (n × max_p − 1) / (n − 1)      n = 选项数

三选项、最大概率 0.88 时,(3×0.88−1)/2 = 0.82,和文档示例的 0.81 基本对得上(示例做了取整)。所以 0.81 的含义是「分布够集中」,不是「81% 概率正确」。真正回答「这题有多大概率对」的,是 probabilities 里那一项,而且只在批量意义上成立。

fig2-request-anatomy.png

和 Structured Outputs 的三点差别

LLM + JSON SchemaJev
输出怎么来逐 token 生成,schema 只做约束一次前向,直接在选项上出分布
会不会不符合 schema会,长输出、截断、模型升级都可能不会,答案空间在请求里就定死了
拿到什么一个值 + 模型自述的置信度完整分布 + 由分布导出的 confidence

第三行是分水岭。前者给你一个数,你得信它;后者给你一个分布,你的代码可以决定信多少。

名字与来历

两个名字都有出处。

Jev 取自 William Stanley Jevons。这位 19 世纪经济学家观察到:蒸汽机效率提高、单位煤耗下降之后,英国的煤炭总消耗量反而暴涨——这就是「杰文斯悖论」。TypeSafe 拿它下注:智能的单位成本每降一个数量级,使用量会涨几个数量级。 所以他们把价格压到 $0.042/百万 token,不是为了抢 LLM 的活,是为了让「以前根本不值得用 AI 判断」的那部分流量变得值得。官方也承认,他们没法证明这个价格没有补贴——只能靠时间证明它可持续。

System One 取自 Kahneman 的《思考,快与慢》。System 1 是快速直觉,System 2 是慢速推理。官方也承认这个名字有风险——「System 1」在心理学语境里本来就暗含「容易出错」,他们的回应是:System One 模型可以被做得比替代方案更可靠,因为它的输出空间是封闭的。

创始人 Diogo Almeida 在 OpenAI 参与过 RLHF 与 InstructGPT 的研究,是 RLHF 的共同作者之一。2026 年 9 月 15 日公司出 stealth 时,DCVC 领投了 4,000 万美元种子轮;据公司自己公告,随后又融了 8.7 亿美元、估值 75 亿美元。这个融资节奏本身就是这波热度的注脚——一个「只会做选择题」的模型,拿到了接近基础模型公司的估值。


二、快和便宜,具体快在哪

从 O(n) 到 O(1)

传统 LLM:
state ──▶ [tok1] ──▶ [tok2] ──▶ ... ──▶ [tokN] ──▶ 拼成 JSON ──▶ json.loads
            │          │                              │
            └──────────┴── 每一步都要回看全部上下文 ───┘
            延迟 ∝ 输出长度;成本 ∝ 输出 token 数

Jev:
state ──▶ 一次前向 ──┬──▶ q1  choice  + 概率分布
                     ├──▶ q2  noul    + 0.95
                     ├──▶ q3  score   + 1.4
                     └──▶ q4  choice  + 概率分布
            延迟 ≈ 常数;问题数几乎不影响总耗时

生成模型的瓶颈不只是算力,还有「每吐一个 token 就要把整段上下文再读一遍」的访存开销。Jev 把这一步砍掉:读完 state,一次性在所有选项上出 logits,再归一化成概率。输出长度这个变量从公式里消失了,延迟自然扁平。

自己算一遍成本,比记「444 倍」有用

官方定价:输入 $0.042 / 百万 token,输出免费。按这个价,成本只跟输入长度有关:

单次成本 = 输入 token × 0.042 ÷ 1,000,000

拿三种典型请求跟 GPT-6 Astra(10/10 / 50 每百万)对比:

请求形态输入 / 输出 tokenJev 每百万次Astra 每百万次倍数
短路由(工单分类)300 / 10$12.6$3,500278×
中等审核(邮件判定)1,500 / 20$63$16,000254×
长文判断(合同条款)3,700 / 30$155$38,500248×

第三行的量级正好落在第三方榜单给 Jev 1.14 的 $156 / 百万次决策 附近,说明这个算法没跑偏。

但这里有个很多人忽略的对照:如果对手换成 GPT-6 Luna(0.10/0.10 / 0.50),同样 300 token 输入,每百万次是 $35——Jev 只便宜 2.8 倍,不是 444 倍。

官方的 193.6× / 444.6× 出自他们自己的 workflow eval,有几个前提:对比对象是前沿模型;LLM 被一个 wrapper 强制输出结构化决策(更慢更贵);参考答案取的是 Astra 与 Fable 5.1 的平均预测,而不是人工真值。TypeSafe 自己在博文里也写了「这些数字在真实收益的高位」。

所以正确的预期是:对前沿模型,便宜两个数量级;对便宜的小模型,便宜个位数倍。 前者的意义是「把以前不敢做的全量判断做起来」,后者的意义只是「同一个预算多跑几次」。

一个反向的账:延迟优势会被调用链吃掉

Jev 官方说 70–500ms,CMU 的 Krishnan 等人在预印本里测到中位 150ms,同期 GPT-6 Astra 是 1.89 秒——这是 12.6 倍,不是 193 倍。

更要命的是网络。第三方榜单 JevBench 记录的 Jev 1.13 中位延迟是 1.23 秒,和模型侧的 150ms 差了八倍。差额大概率不在模型本身,而在网关、重试和排队。如果你的 Agent 一步一调、串行 20 步,模型省下的 1.7 秒会以另一种方式还回去。


三、RLCD:Jev 真正的差异化,也是最难验证的部分

TypeSafe 的创始人 Diogo Almeida 是 OpenAI 早期 RLHF / InstructGPT 的研究者之一。他出来创业做的事,恰恰是反对把 RLHF 当成万能解:RLHF 优化的是「人喜欢读什么」,而不是「软件能信什么」。

官方把三条后训练路线摆在一起:

路线奖励信号从哪来优化什么典型副作用
RLHF人类偏好排序让回答「读起来让人满意」谄媚、过度自信、mode dropping
RLVR可自动验证的结果(答案对不对、代码跑不跑得过)正确率与推理能力强推理,但慢、贵;概率未必可信
RLCD决策结果与预测概率的对齐说 0.8 的时候,长期真有 80% 对需要大量带结果标签的决策数据;跨分布会漂

RLCD 的全名是 Reinforcement Learning for Calibrated Decisions。它的目标函数不是在奖励「答对」,而是在奖励「概率诚实」——一个 0.9 的预测错了,罚得比一个 0.6 的预测错了更重。这也是为什么 Jev 的输出可以直接拿来做阈值:概率本身是产品的一部分,不是排序时的副产品。

校准是批量性质,不是单次保证

官方文档写得很清楚:校准是「跨一批预测统计出来的性质」。

  • 0.8 那一档的预测,长期大约 80% 是对的;
  • 这不代表这一条 0.8 的预测有 80% 概率正确;
  • 更不代表 0.8 以上就可以无条件自动执行。

这一点决定了正确的用法:把概率当路由信号,而不是当保证。 用阈值切分流量、用分布做排序、用低置信度触发升级,这些是校准能支撑的;「模型说 0.95 所以一定对」不是。

校准也会坏,而且坏得很具体

这是全文最该记住的一节。三组独立测量:

1. 相关性判断上系统性过度自信。 一篇复现 BEIR 排序实验的论文把 Jev 的原生概率和人工相关性标签对齐,发现在 DL21 上被 Jev 打到 0.9 以上的文档对里,只有 66% 真的相关。好消息是这主要是一个「刻度」问题:在 DL19 的 2,257 个文档对上拟合一个双参数校准,误差大部分被消掉,而且能迁移到 DL21;校准后 Jev 的 Brier 分数低于 FLAN-UL2 和三个 cross-encoder。

2. 跨数据集会出现「置信度倒挂」。 RSAJEV 那篇在遥感分类里测到:同分布 97.71% 准确率,跨数据集掉到 7.35%–96.40%,置信度的 AUROC 只有 0.38——比随机还差。也就是说模型越错越自信。这不是 Jev 独有,但它提醒你:置信度阈值必须在目标分布上验,不能从 benchmark 搬。

3. 弃答行为可能被选项诱导。 一份汇总 53 项独立研究的清单里,KoBBQ 校准审计发现:当选项里带「unknown」时,Jev 对 300 条模糊样本的 95% 都选了弃答;把「unknown」去掉,正确率归零,79% 的答案落进数据集里的刻板印象。加弃答选项本来是好事,但它会把「不确定」放大成一个默认动作。

所以「零幻觉」这句话要拆开听:不编造选项之外的东西,这是类型安全;高置信度地选错、在错误的地方弃答,这是准确率问题。 两件事不能互相担保。


四、现在的 JEV 家族:官方两代,加一整类模型

先澄清一个命名混乱:Jev 是 TypeSafe 的模型名;「Jev 类模型 / JEV-style」已经变成社区对 decision model 的统称。 论文里带 Jev 的名字至少有 Inner Jev、Chinese-Jev、PixelJev、OpenJev-RLCD、RSAJEV、AnyJev 六七种,大多不是官方出品。

官方:1.13 与 1.14

Jev 1.13Jev 1.14
发布2026-09-152026-10-14
模型 IDjev-1.13.0jev-1.14.0(jev-latest 指向它)
价格$0.042 / M input,输出免费同左
上下文64k 每次请求 / 32k 每问题同左;带 TypeSafe-Danger-Zone-Long-Context: true 头可到 262k
输入文本、图像文本、图像
原语Choice / Score / Noul增加 Box(图像定位)
JevBench Capability77.1(Intelligence 63.6 / Calibration 90.6)75.0(59.9 / 90.1)
AA 决策指数 v2.1—66.2,$156/百万次,92ms,ECE 0.054

1.14 值得单独说一句:它新增了 Box 原语(在图片里框出一块区域),但在 JevBench 上综合能力反而从 77.1 掉到 75.0,Intelligence 从 63.6 掉到 59.9,校准基本持平(90.6 → 90.1)。这是典型的「功能扩张换质量回退」。如果你只用文本,且已经按 1.13 调过阈值,没有理由跟着 jev-latest 漂——官方文档也建议:调过阈值的,直接写死版本号。

同类模型:一张表看清谁在哪

下面这张表统一用 Artificial Analysis Decision Index v2.1(2026-11-14 快照),因为它同时给了指数、每百万次成本、单次耗时和 ECE,口径最齐。注意:指数不是准确率,是多个决策基准的加权分。

模型形态$/百万次单次耗时IndexECE
Drex Max v1.1托管103283ms72.60.038
SubQ Snap 1.2托管137162ms72.60.046
GLiDE v1.2(Fastino)可自托管780284ms72.50.057
mammoth-1 27B开源权重264106ms71.40.034
d1-ultra(Liquid AI)托管133301ms70.60.021
pplx-decider v1.3托管68289ms70.40.064
Microsoft-Decision-1.1托管63253ms66.50.059
Jev 1.14托管15692ms66.20.054
Gemini Decision 1托管345211ms66.00.013
Microsoft-Decision-1托管143274ms62.10.124
Celeris-1.1托管1461ms62.00.104
Clef 27B(Cloudflare)开源权重 · 托管863354ms60.30.071
OpenAI Decisions(GPT-6 Luna)托管339206ms60.20.110

fig3-landscape.png

三次读表,能读出三个结论:

第一,Jev 的优势已经不是「最准」,而是「最快的那一档里最准的之一」。 92ms 是表里第二快,Index 66.2 在中游。它现在卖的是延迟 + 生态 + 接口习惯,不是绝对质量。

第二,价格战已经打穿了。 Celeris 每百万次 $14,是 Jev 的 1/11;pplx-decider 比 Jev 便宜一半还多,Index 还高 4 分。「决策模型 = 便宜」这个前提,只在跟前沿 LLM 比的时候成立;在决策模型内部,Jev 是中高价。

第三,开源权重已经能打了。 mammoth-1(27B,开源)Index 71.4、ECE 0.034,比 Jev 又准又稳;Clef 虽然是 Apache 2.0,但托管价 $863/百万次,明显是「权重给你、推理找我」的路数,自托管才有意义。

另一条线:把 Jev 复现出来

如果只看 JevBench(Benchmark Heaven 维护的第三方榜,v1.8.x),画面更刺激。注意它的 Capability 是 Intelligence 与 Calibration 的均值,和上表的 AA 指数不可直接比较:

  • Torchcast Decision 31B:开源权重,Capability 89.5(Intelligence 85.5 / Calibration 93.4),估算 $23/百万次;
  • mammoth-1 27B:85.2;
  • Jeff-1.0-Large:OpenDecisions 84.4、JevBench 81.5,比 Jev 高 4.3–4.4 分,榜上第 2;
  • Jev 1.13:77.1(在开源权重榜上作为参考行,不参与排名);Jev 1.14:75.0。

而 Releasing the Inner Jev(arXiv 2610.17205)这篇做的事更「冒犯」:它把开源指令模型的选项映射成 A/B/C 字母,直接从最后一个 token 的 logits 读概率,零样本。Gemma 4 31B 在 OpenDecisions 上拿到 79.6,而 Jev 是 80.1;加一个简单 LoRA,Jeff-1.0-Large 到 84.4,反超。

这篇论文的结论不是「Jev 没用」,而是:Jev 的护城河不在「单次前向读概率」这个机制,而在工程质量——校准数据、并行采样、稳定性、以及把接口做成产品。 机制可以被复现,数据和 SLO 不容易。

顺带一提,社区还分出了几条支线:Chinese-Jev(1000 万条中文决策语料,通用任务领先 1.24%、医疗超 4.0%、20.3× 加速)、PixelJev(原生图像决策)、OpenJev-RLCD(把 RLCD 用在推理模型上,Qwen3-1.7B 匹配或超过 SFT/GRPO)、SII-Decision(复旦,开源权重,配套一套决策基准)、kettei(Sqwish,$3M pre-seed)。生态已经过了「一个模型」的阶段。


五、什么场景真的适合

判断标准只有四条:答案闭集、调用高频、错了能回退、判断主要靠读输入。 四条都满足,才轮到选模型。

场景典型问题原语为什么合适主要风险
内容 / 邮件审核是否钓鱼、辱骂、垃圾Noul + Choice量大、答案闭集、必须按阈值分流对抗样本;Jev 不默认把 state 当敌意
工单 / 意图路由进哪个队列、哪个团队Choice选项可枚举,错了可转人工选项顺序偏置;长尾意图没有对应选项
注入 / 越狱护栏这段是否试图覆盖系统指令Noul每个请求都要跑,延迟敏感不能当唯一防线,需与规则叠加
RAG 相关性过滤这段是否支持该结论Noul / Score几十个候选并行打分,成本极低过度自信,需在目标分布上重校准
Agent 工具选择该调哪个工具Choice工具集固定,参数另填255 上限;真正的错误在「答案→动作」映射
Rubric 评审回答是否满足第 k 条标准Noul / Score多条标准并行,比 LLM 评委便宜标准互斥或冲突时会摇摆

几个真实落地的样子:Cloudflare 用它标记 GitHub 文档仓库的垃圾 PR、识别钓鱼邮件与钓鱼域名、检测 prompt injection、判断骨干网故障邮件是否影响自家服务;微软说 Copilot 的请求路由在同等准确率下快 2.2 倍、成本低 4.4 倍;TypeSafe 自己拿它做 Doom 实时决策,10 次/秒、约 $7/小时。

反过来,这五类别用

1. 需要算术、计数、日期比较的。 官方自己在 model-jaggedness 里列了:Jev 不是计算器,数不准,日期当文本读。正确做法是「模型抽取、代码计算」。

2. 需要多跳推理的。 双重否定、属性的属性、需要串几步才能得出的结论,准确率下降明显。官方建议把间接层砍掉,或者拆成两个原子问题在代码里组合。

3. 需要专业领域知识的。 复旦魏忠钰团队的 SII-Decision 论文测到:决策模型在文档理解上能略超 LLM,工具选择打平,但在医学、金融、法律这类需要领域专长的任务上落后于 LLM。推理能力是主因之一,但它不足以解释所有差距。

4. 拿它当交易信号。 有公开测试:BTC/USD 回测的 holdout AUC 只有 0.471–0.503,等于随机;NQ 订单簿模型 339 次决策命中 67.8%,扣掉手续费净亏 $62.69。判断准确率不等于决策赚钱,中间隔着赔率、成本和仓位。

5. 需要生成、需要解释、需要唯一决策者。 它不写字;也不该在不可逆的高风险决策上单独签字。

还有一个容易被忽视的限制:Jev 不支持用你的数据微调。 官方明确写「not fine-tuned or LoRA-adapted with customer data」,所有账户共用一套权重。你能改的只有 state、instructions、criteria。这跟 Sqwish 那类「拿生产数据持续后训练」的卖点正好相反——好处是不会被你的脏数据带偏,坏处是你的领域黑话只能靠提示词硬塞。


六、怎么上手:从注册到上线的五步

fig4-rollout.png

Step 1:跑通第一个请求

注册 console.typesafe.ai(早期送 $5 额度),拿 key,然后:

curl -X POST https://api.typesafe.ai/v1/systemone \
  -H "Authorization: Bearer $TYPESAFE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "jev-1.14.0",
    "state": "我的订单到货时是坏的,我要退款。",
    "questions": {
      "wants_refund": {
        "type": "noul",
        "instructions": "这位客户是在要求退款吗?",
        "criteria": {
          "true": "明确要求退钱、退款、返还货款",
          "false": "只是抱怨,没有提出退款诉求"
        }
      }
    }
  }'

Python SDK:

pip install typesafe-sdk
from typesafe_sdk import Choice, Noul, Score, TypeSafeClient

TEAMS = {
    "billing": "扣费、发票、退款、支付方式",
    "technical": "Bug、报错、宕机、集成问题",
    "account": "登录、改密码、权限、账户设置",
}

with TypeSafeClient(model="jev-1.14.0") as client:
    r = client.system_one(
        state=ticket_text,
        questions={
            "team": Choice(
                instructions="这条消息应该由哪个团队处理?",
                criteria=TEAMS,
            ),
            "urgency": Score(
                instructions="客户的情绪有多急?",
                criteria=["平静", "不满", "愤怒", "准备流失"],
            ),
            "wants_refund": Noul(
                instructions="客户是否明确提出退款?",
            ),
        },
    )

team = r.answers["team"]
if team.confidence < 0.8:
    route_to_human(ticket_text)
else:
    route_to(team.choice)

JS/TS 用 @typesafe-ai/sdk;Vercel 侧有 @ai-sdk/typesafe-ai,但注意它把 noul 改名成 boolean,字段也从 noul 变成 probability,抄文档时要改。

Step 2:选对原语

  • 有明确类别 → Choice。 选项描述要写成「包含什么 / 不包含什么」,别只写标签。
  • 有程度 → Score。 别用 Noul 代替。Noul 的 0.5 是「拿不准」,不是「中等」。
  • 是/否 → Noul。 初值阈值用 0.7 / 0.3,中间地带转人工。
  • 超过 255 个选项 → 两级。 先对候选逐个打分,再对 top-k 做一次 Choice。这会慢,但比塞不进上下文强。

Step 3:把 prompt 改写成「原子问题」

Jev 是字面理解者。它会回答你写的问题,不是你想着的问题。 三个改写原则:

  1. 一个问题只放一个判断。 「这封邮件是否紧急且需要退款」要拆成两个;
  2. 把边界写进 criteria。 你事后解释「我其实是想说……」的那句话,就是 instruction 缺的那半句;
  3. 别让选项描述和 instruction 打架。 true 映射到「否」这类反向配置,表现会明显变差。

Step 4:用 300 条真实流量做评测

不要用 benchmark 分数做上线决策。最少做四件事:

# 1) 准确率 + 2) ECE(期望校准误差)
def ece(pairs, bins=10):
    total, err = len(pairs), 0.0
    for b in range(bins):
        lo, hi = b / bins, (b + 1) / bins
        bucket = [(c, y) for c, y in pairs
                  if lo <= c < hi or (b == bins - 1 and c == 1.0)]
        if not bucket:
            continue
        conf = sum(c for c, _ in bucket) / len(bucket)
        acc = sum(y for _, y in bucket) / len(bucket)
        err += len(bucket) / total * abs(conf - acc)
    return err

# 3) 翻转率:把选项顺序打乱,看答案变不变
# 4) 覆盖率:在目标准确率下,有多少比例可以自动执行

四个指标各有各的用:准确率决定能不能用,ECE 决定阈值能不能信,翻转率决定选项顺序会不会坑你(官方承认 Jev 偏向第一个选项),覆盖率决定这套东西到底省不省钱。

一个经验值:300–500 条覆盖长尾的标注,比 5,000 条随机样本更能暴露问题。

Step 5:双阈值 + 升级,不要一步到位

全量请求
   │
   ├─ confidence ≥ 高阈值 ──▶ 自动执行(写日志、留痕)
   │
   ├─ 低阈值 ≤ c < 高阈值 ──▶ 升级给 LLM 复核 / 补一次生成
   │
   └─ c < 低阈值 ──────────▶ 人工 / 规则兜底

CMU 那篇预印本测过这个组合:Jev 把低置信度样本交给 GPT-6,准确率略高于单用 GPT-6,成本只有后者的 41%。 这是目前最稳的工程形态——便宜模型做分流,贵模型只处理它拿不准的部分。

上线时还有三个细节:

  • 写死版本号,别用 jev-latest。 别名会随发布漂移,你的阈值不会自动跟着调;
  • 日志里记 response.model,出问题能定位到具体版本;
  • 灰度 5% → 50% → 100%,每档至少跑够一个业务周期。

成本核算模板

月成本 = 月请求数 × 平均输入 token × 0.042 ÷ 1,000,000

10 万次/月、平均 800 token:100,000 × 800 × 0.042 ÷ 1e6 = $3.36/月。

同样的量走 GPT-6 Astra(800 in / 20 out):100,000 × (800×10 + 20×50) ÷ 1e6 = $900/月。

这就是「敢不敢做全量判断」的分界线。 不是 Jev 多聪明,是它便宜到你可以对每一条数据都问一遍。


七、我的判断

第一,Jev 定义了接口,但没守住王座。 它把「state + 类型化问题 + 并行概率」这套契约做成了事实标准,微软、Cloudflare、OpenAI 都在兼容这个形状。但榜单上比它准、比它便宜、比它校准好的模型已经一大把,1.14 甚至比 1.13 退了一步。把它当「一类模型的标准接口」看,比当「最强模型」看更准确。

第二,省钱的叙事要分两层。 对前沿 LLM,便宜两个数量级,这是真事,它解锁的是「以前不敢全量跑」的场景;对 Luna 这种小模型,只便宜个位数倍,这时选它是因为延迟和类型安全,不是因为钱。

第三,真正的风险从「解析失败」换成了「高置信度地判断错」。 前者有异常可抓,后者静默。所以上线前那 300 条标注、那个 ECE、那个选项重排测试,不是可选项——它们是这套架构的一部分,不是附属品。

如果只记一句话:Jev 把 LLM 最贵的那一步换成了函数调用,代价是你得自己承担「判断对不对」的全部责任。


数据来源与说明

  • TypeSafe 官方文档:docs.typesafe.ai(System One、Models、Model jaggedness、AI primer,2026-11 访问);发布博文《Introducing System One Models & Jev》(2026-09-15)
  • Artificial Analysis Decision Index v2.1,2026-11-14 快照(第三方,指数非准确率)
  • JevBench / Benchmark Heaven,v1.8.x(2026-11-17),Capability = Intelligence 与 Calibration 的均值
  • Releasing the Inner Jev: A Simple Recipe for Open Decision Models,arXiv 2610.17205
  • OpenJev-RLCD,arXiv 2609.38850;Chinese-Jev,arXiv 2609.36965;RSAJEV,arXiv 2610.15742
  • Krishnan 等关于 Jev 延迟与混合升级的预印本(经多家媒体转述,未见完整原文,数字按转述引用)
  • 复旦魏忠钰团队 SII-Decision 基准研究(经媒体报道转述)
  • OpenReplay《什么是 Jev》(2026-11-08)、TechCrunch 关于决策模型占 Vercel 路由流量的报道(经二手转述)
  • 钓鱼邮件基准 jev-phishing-bench(2,000 封,单项问题,62.6% vs Claude Haiku 4.5 81.3%)

口径提醒: 文中「每百万次成本」均为按输入 token 单价折算的模型成本,不含网关、重试、人工复核;不同榜单对「延迟」的测量点不同(模型侧 / 端到端),跨榜比较只看数量级,不要看小数点。厂商自报数字均已在文中标注来源,独立复现结论单独标出。