2026 年 9 月 15 日,TypeSafe AI 发布 Jev。 六到七周内,Cloudflare、微软、OpenAI、亚马逊全部推出同类;OpenRouter 上一周 15 亿次调用打到 TypeSafe 的模型上;10 月,决策模型占了 Vercel 模型路由四分之一以上的请求。
但同一时间,Jev 在第三方 JevBench 的托管 API 榜上排第 15–18 名;一个 2,000 封邮件的钓鱼判定测试里,它只有 62.6%,输给 Claude Haiku 4.5 的 81.3%。
这两个事实同时为真。这篇文章把它们拼起来看:Jev 到底是什么、快和便宜从哪来、现在有哪些能打的同类、什么场景该用、以及怎么在半天内跑通第一个可用版本。
先说结论:
- Jev 不是「更小的 LLM」,它是一个接口不同的模型:输入
state加一组带类型的问题,输出选项概率,不做 token 生成。 - 快和便宜来自「一次前向 + 所有问题并行求值」,但官方那个「193 倍 / 444 倍」是对着「逐 token 吐 JSON」的稻草人测出来的,自己算一遍更靠谱。
- 它真正值钱的是校准与类型安全,不是「零幻觉」这个营销说法。类型安全保证答案在你的选项里,不保证答案是对的。
- Jev 已经不是最强的那一个,但它的接口正在变成事实标准;选型别只看榜首,落地只信你自己那 300 条标注。
一、Jev 到底在做什么
一句话:把「判断」从「生成」里拆出来,做成一次函数调用。
常规做法是让聊天模型输出 {"category": "billing", "confidence": 0.8},再用正则或 JSON parser 抠出来。这条链路有三个绕不开的问题:
- 输出是串行的。模型要一个 token 一个 token 地写完,而分类任务本身不需要序列;
- 那个 0.8 是文本,不是概率。它和前面的字出自同一套下一个 token 预测,没有义务等于真实命中率;
- 你只拿到被选中的那个选项,拿不到完整分布,也就没法做「0.8 以上自动执行、0.5–0.8 升级、以下转人工」的分层策略。
Jev 换了个契约。一次请求只有三个必填字段:
{
"model": "jev-latest",
"state": "客户消息、工单、日志、合同段落,或一个 JSON 对象",
"questions": {
"team": {
"type": "choice",
"instructions": "这条消息应该由哪个团队处理?",
"criteria": {
"billing": "扣费、发票、退款、支付方式",
"technical": "Bug、报错、宕机、集成问题",
"account": "登录、改密码、权限、账户设置"
}
}
}
}
响应里没有一句话,只有答案和分布:
{
"model": "jev-1.14.0",
"answers": {
"team": {
"type": "choice",
"choice": "billing",
"probabilities": { "billing": 0.88, "technical": 0.09, "account": 0.03 },
"confidence": 0.81
}
},
"usage": { "input_tokens": 412, "output_tokens": 3 }
}
注意 usage.output_tokens 是 3 而不是 0——输出仍然计 token,只是不计费。
四种原语,覆盖绝大多数「判断」
| 原语 | 回答什么 | 配置 | 返回 |
|---|---|---|---|
Choice | 答案是若干选项之一 | instructions + 最多 255 个选项及描述 | choice + 完整 probabilities + confidence |
Score | 答案落在一个有序量表上 | instructions + 2–10 个等级 | score(概率加权期望)+ legend + probabilities + confidence |
Noul | 一个陈述是否为真 | instructions + 可选的 true/false 描述 | noul(0–1 的概率),没有单独 confidence |
Box | 目标在图片里的位置 | 四边相对坐标 | box: {top, bottom, left, right},仅 1.14 支持 |
两个容易被忽略的细节:
第一,问题之间是并行的。 state 只读一次,四个问题共享同一份上下文,官方说「增加问题数量几乎不影响响应时间」。这跟「串行调四次 LLM」是数量级的差别,也是它最适合做「一次判断多个维度」的原因。
第二,confidence 不是「这题答对的概率」。 它是从分布形状算出来的统计量,Choice 的公式是:
confidence = (n × max_p − 1) / (n − 1) n = 选项数
三选项、最大概率 0.88 时,(3×0.88−1)/2 = 0.82,和文档示例的 0.81 基本对得上(示例做了取整)。所以 0.81 的含义是「分布够集中」,不是「81% 概率正确」。真正回答「这题有多大概率对」的,是 probabilities 里那一项,而且只在批量意义上成立。
和 Structured Outputs 的三点差别
| LLM + JSON Schema | Jev | |
|---|---|---|
| 输出怎么来 | 逐 token 生成,schema 只做约束 | 一次前向,直接在选项上出分布 |
| 会不会不符合 schema | 会,长输出、截断、模型升级都可能 | 不会,答案空间在请求里就定死了 |
| 拿到什么 | 一个值 + 模型自述的置信度 | 完整分布 + 由分布导出的 confidence |
第三行是分水岭。前者给你一个数,你得信它;后者给你一个分布,你的代码可以决定信多少。
名字与来历
两个名字都有出处。
Jev 取自 William Stanley Jevons。这位 19 世纪经济学家观察到:蒸汽机效率提高、单位煤耗下降之后,英国的煤炭总消耗量反而暴涨——这就是「杰文斯悖论」。TypeSafe 拿它下注:智能的单位成本每降一个数量级,使用量会涨几个数量级。 所以他们把价格压到 $0.042/百万 token,不是为了抢 LLM 的活,是为了让「以前根本不值得用 AI 判断」的那部分流量变得值得。官方也承认,他们没法证明这个价格没有补贴——只能靠时间证明它可持续。
System One 取自 Kahneman 的《思考,快与慢》。System 1 是快速直觉,System 2 是慢速推理。官方也承认这个名字有风险——「System 1」在心理学语境里本来就暗含「容易出错」,他们的回应是:System One 模型可以被做得比替代方案更可靠,因为它的输出空间是封闭的。
创始人 Diogo Almeida 在 OpenAI 参与过 RLHF 与 InstructGPT 的研究,是 RLHF 的共同作者之一。2026 年 9 月 15 日公司出 stealth 时,DCVC 领投了 4,000 万美元种子轮;据公司自己公告,随后又融了 8.7 亿美元、估值 75 亿美元。这个融资节奏本身就是这波热度的注脚——一个「只会做选择题」的模型,拿到了接近基础模型公司的估值。
二、快和便宜,具体快在哪
从 O(n) 到 O(1)
传统 LLM:
state ──▶ [tok1] ──▶ [tok2] ──▶ ... ──▶ [tokN] ──▶ 拼成 JSON ──▶ json.loads
│ │ │
└──────────┴── 每一步都要回看全部上下文 ───┘
延迟 ∝ 输出长度;成本 ∝ 输出 token 数
Jev:
state ──▶ 一次前向 ──┬──▶ q1 choice + 概率分布
├──▶ q2 noul + 0.95
├──▶ q3 score + 1.4
└──▶ q4 choice + 概率分布
延迟 ≈ 常数;问题数几乎不影响总耗时
生成模型的瓶颈不只是算力,还有「每吐一个 token 就要把整段上下文再读一遍」的访存开销。Jev 把这一步砍掉:读完 state,一次性在所有选项上出 logits,再归一化成概率。输出长度这个变量从公式里消失了,延迟自然扁平。
自己算一遍成本,比记「444 倍」有用
官方定价:输入 $0.042 / 百万 token,输出免费。按这个价,成本只跟输入长度有关:
单次成本 = 输入 token × 0.042 ÷ 1,000,000
拿三种典型请求跟 GPT-6 Astra(50 每百万)对比:
| 请求形态 | 输入 / 输出 token | Jev 每百万次 | Astra 每百万次 | 倍数 |
|---|---|---|---|---|
| 短路由(工单分类) | 300 / 10 | $12.6 | $3,500 | 278× |
| 中等审核(邮件判定) | 1,500 / 20 | $63 | $16,000 | 254× |
| 长文判断(合同条款) | 3,700 / 30 | $155 | $38,500 | 248× |
第三行的量级正好落在第三方榜单给 Jev 1.14 的 $156 / 百万次决策 附近,说明这个算法没跑偏。
但这里有个很多人忽略的对照:如果对手换成 GPT-6 Luna(0.50),同样 300 token 输入,每百万次是 $35——Jev 只便宜 2.8 倍,不是 444 倍。
官方的 193.6× / 444.6× 出自他们自己的 workflow eval,有几个前提:对比对象是前沿模型;LLM 被一个 wrapper 强制输出结构化决策(更慢更贵);参考答案取的是 Astra 与 Fable 5.1 的平均预测,而不是人工真值。TypeSafe 自己在博文里也写了「这些数字在真实收益的高位」。
所以正确的预期是:对前沿模型,便宜两个数量级;对便宜的小模型,便宜个位数倍。 前者的意义是「把以前不敢做的全量判断做起来」,后者的意义只是「同一个预算多跑几次」。
一个反向的账:延迟优势会被调用链吃掉
Jev 官方说 70–500ms,CMU 的 Krishnan 等人在预印本里测到中位 150ms,同期 GPT-6 Astra 是 1.89 秒——这是 12.6 倍,不是 193 倍。
更要命的是网络。第三方榜单 JevBench 记录的 Jev 1.13 中位延迟是 1.23 秒,和模型侧的 150ms 差了八倍。差额大概率不在模型本身,而在网关、重试和排队。如果你的 Agent 一步一调、串行 20 步,模型省下的 1.7 秒会以另一种方式还回去。
三、RLCD:Jev 真正的差异化,也是最难验证的部分
TypeSafe 的创始人 Diogo Almeida 是 OpenAI 早期 RLHF / InstructGPT 的研究者之一。他出来创业做的事,恰恰是反对把 RLHF 当成万能解:RLHF 优化的是「人喜欢读什么」,而不是「软件能信什么」。
官方把三条后训练路线摆在一起:
| 路线 | 奖励信号从哪来 | 优化什么 | 典型副作用 |
|---|---|---|---|
| RLHF | 人类偏好排序 | 让回答「读起来让人满意」 | 谄媚、过度自信、mode dropping |
| RLVR | 可自动验证的结果(答案对不对、代码跑不跑得过) | 正确率与推理能力 | 强推理,但慢、贵;概率未必可信 |
| RLCD | 决策结果与预测概率的对齐 | 说 0.8 的时候,长期真有 80% 对 | 需要大量带结果标签的决策数据;跨分布会漂 |
RLCD 的全名是 Reinforcement Learning for Calibrated Decisions。它的目标函数不是在奖励「答对」,而是在奖励「概率诚实」——一个 0.9 的预测错了,罚得比一个 0.6 的预测错了更重。这也是为什么 Jev 的输出可以直接拿来做阈值:概率本身是产品的一部分,不是排序时的副产品。
校准是批量性质,不是单次保证
官方文档写得很清楚:校准是「跨一批预测统计出来的性质」。
- 0.8 那一档的预测,长期大约 80% 是对的;
- 这不代表这一条 0.8 的预测有 80% 概率正确;
- 更不代表 0.8 以上就可以无条件自动执行。
这一点决定了正确的用法:把概率当路由信号,而不是当保证。 用阈值切分流量、用分布做排序、用低置信度触发升级,这些是校准能支撑的;「模型说 0.95 所以一定对」不是。
校准也会坏,而且坏得很具体
这是全文最该记住的一节。三组独立测量:
1. 相关性判断上系统性过度自信。 一篇复现 BEIR 排序实验的论文把 Jev 的原生概率和人工相关性标签对齐,发现在 DL21 上被 Jev 打到 0.9 以上的文档对里,只有 66% 真的相关。好消息是这主要是一个「刻度」问题:在 DL19 的 2,257 个文档对上拟合一个双参数校准,误差大部分被消掉,而且能迁移到 DL21;校准后 Jev 的 Brier 分数低于 FLAN-UL2 和三个 cross-encoder。
2. 跨数据集会出现「置信度倒挂」。 RSAJEV 那篇在遥感分类里测到:同分布 97.71% 准确率,跨数据集掉到 7.35%–96.40%,置信度的 AUROC 只有 0.38——比随机还差。也就是说模型越错越自信。这不是 Jev 独有,但它提醒你:置信度阈值必须在目标分布上验,不能从 benchmark 搬。
3. 弃答行为可能被选项诱导。 一份汇总 53 项独立研究的清单里,KoBBQ 校准审计发现:当选项里带「unknown」时,Jev 对 300 条模糊样本的 95% 都选了弃答;把「unknown」去掉,正确率归零,79% 的答案落进数据集里的刻板印象。加弃答选项本来是好事,但它会把「不确定」放大成一个默认动作。
所以「零幻觉」这句话要拆开听:不编造选项之外的东西,这是类型安全;高置信度地选错、在错误的地方弃答,这是准确率问题。 两件事不能互相担保。
四、现在的 JEV 家族:官方两代,加一整类模型
先澄清一个命名混乱:Jev 是 TypeSafe 的模型名;「Jev 类模型 / JEV-style」已经变成社区对 decision model 的统称。 论文里带 Jev 的名字至少有 Inner Jev、Chinese-Jev、PixelJev、OpenJev-RLCD、RSAJEV、AnyJev 六七种,大多不是官方出品。
官方:1.13 与 1.14
| Jev 1.13 | Jev 1.14 | |
|---|---|---|
| 发布 | 2026-09-15 | 2026-10-14 |
| 模型 ID | jev-1.13.0 | jev-1.14.0(jev-latest 指向它) |
| 价格 | $0.042 / M input,输出免费 | 同左 |
| 上下文 | 64k 每次请求 / 32k 每问题 | 同左;带 TypeSafe-Danger-Zone-Long-Context: true 头可到 262k |
| 输入 | 文本、图像 | 文本、图像 |
| 原语 | Choice / Score / Noul | 增加 Box(图像定位) |
| JevBench Capability | 77.1(Intelligence 63.6 / Calibration 90.6) | 75.0(59.9 / 90.1) |
| AA 决策指数 v2.1 | — | 66.2,$156/百万次,92ms,ECE 0.054 |
1.14 值得单独说一句:它新增了 Box 原语(在图片里框出一块区域),但在 JevBench 上综合能力反而从 77.1 掉到 75.0,Intelligence 从 63.6 掉到 59.9,校准基本持平(90.6 → 90.1)。这是典型的「功能扩张换质量回退」。如果你只用文本,且已经按 1.13 调过阈值,没有理由跟着 jev-latest 漂——官方文档也建议:调过阈值的,直接写死版本号。
同类模型:一张表看清谁在哪
下面这张表统一用 Artificial Analysis Decision Index v2.1(2026-11-14 快照),因为它同时给了指数、每百万次成本、单次耗时和 ECE,口径最齐。注意:指数不是准确率,是多个决策基准的加权分。
| 模型 | 形态 | $/百万次 | 单次耗时 | Index | ECE |
|---|---|---|---|---|---|
| Drex Max v1.1 | 托管 | 103 | 283ms | 72.6 | 0.038 |
| SubQ Snap 1.2 | 托管 | 137 | 162ms | 72.6 | 0.046 |
| GLiDE v1.2(Fastino) | 可自托管 | 780 | 284ms | 72.5 | 0.057 |
| mammoth-1 27B | 开源权重 | 264 | 106ms | 71.4 | 0.034 |
| d1-ultra(Liquid AI) | 托管 | 133 | 301ms | 70.6 | 0.021 |
| pplx-decider v1.3 | 托管 | 68 | 289ms | 70.4 | 0.064 |
| Microsoft-Decision-1.1 | 托管 | 63 | 253ms | 66.5 | 0.059 |
| Jev 1.14 | 托管 | 156 | 92ms | 66.2 | 0.054 |
| Gemini Decision 1 | 托管 | 345 | 211ms | 66.0 | 0.013 |
| Microsoft-Decision-1 | 托管 | 143 | 274ms | 62.1 | 0.124 |
| Celeris-1.1 | 托管 | 14 | 61ms | 62.0 | 0.104 |
| Clef 27B(Cloudflare) | 开源权重 · 托管 | 863 | 354ms | 60.3 | 0.071 |
| OpenAI Decisions(GPT-6 Luna) | 托管 | 339 | 206ms | 60.2 | 0.110 |
三次读表,能读出三个结论:
第一,Jev 的优势已经不是「最准」,而是「最快的那一档里最准的之一」。 92ms 是表里第二快,Index 66.2 在中游。它现在卖的是延迟 + 生态 + 接口习惯,不是绝对质量。
第二,价格战已经打穿了。 Celeris 每百万次 $14,是 Jev 的 1/11;pplx-decider 比 Jev 便宜一半还多,Index 还高 4 分。「决策模型 = 便宜」这个前提,只在跟前沿 LLM 比的时候成立;在决策模型内部,Jev 是中高价。
第三,开源权重已经能打了。 mammoth-1(27B,开源)Index 71.4、ECE 0.034,比 Jev 又准又稳;Clef 虽然是 Apache 2.0,但托管价 $863/百万次,明显是「权重给你、推理找我」的路数,自托管才有意义。
另一条线:把 Jev 复现出来
如果只看 JevBench(Benchmark Heaven 维护的第三方榜,v1.8.x),画面更刺激。注意它的 Capability 是 Intelligence 与 Calibration 的均值,和上表的 AA 指数不可直接比较:
- Torchcast Decision 31B:开源权重,Capability 89.5(Intelligence 85.5 / Calibration 93.4),估算 $23/百万次;
- mammoth-1 27B:85.2;
- Jeff-1.0-Large:OpenDecisions 84.4、JevBench 81.5,比 Jev 高 4.3–4.4 分,榜上第 2;
- Jev 1.13:77.1(在开源权重榜上作为参考行,不参与排名);Jev 1.14:75.0。
而 Releasing the Inner Jev(arXiv 2610.17205)这篇做的事更「冒犯」:它把开源指令模型的选项映射成 A/B/C 字母,直接从最后一个 token 的 logits 读概率,零样本。Gemma 4 31B 在 OpenDecisions 上拿到 79.6,而 Jev 是 80.1;加一个简单 LoRA,Jeff-1.0-Large 到 84.4,反超。
这篇论文的结论不是「Jev 没用」,而是:Jev 的护城河不在「单次前向读概率」这个机制,而在工程质量——校准数据、并行采样、稳定性、以及把接口做成产品。 机制可以被复现,数据和 SLO 不容易。
顺带一提,社区还分出了几条支线:Chinese-Jev(1000 万条中文决策语料,通用任务领先 1.24%、医疗超 4.0%、20.3× 加速)、PixelJev(原生图像决策)、OpenJev-RLCD(把 RLCD 用在推理模型上,Qwen3-1.7B 匹配或超过 SFT/GRPO)、SII-Decision(复旦,开源权重,配套一套决策基准)、kettei(Sqwish,$3M pre-seed)。生态已经过了「一个模型」的阶段。
五、什么场景真的适合
判断标准只有四条:答案闭集、调用高频、错了能回退、判断主要靠读输入。 四条都满足,才轮到选模型。
| 场景 | 典型问题 | 原语 | 为什么合适 | 主要风险 |
|---|---|---|---|---|
| 内容 / 邮件审核 | 是否钓鱼、辱骂、垃圾 | Noul + Choice | 量大、答案闭集、必须按阈值分流 | 对抗样本;Jev 不默认把 state 当敌意 |
| 工单 / 意图路由 | 进哪个队列、哪个团队 | Choice | 选项可枚举,错了可转人工 | 选项顺序偏置;长尾意图没有对应选项 |
| 注入 / 越狱护栏 | 这段是否试图覆盖系统指令 | Noul | 每个请求都要跑,延迟敏感 | 不能当唯一防线,需与规则叠加 |
| RAG 相关性过滤 | 这段是否支持该结论 | Noul / Score | 几十个候选并行打分,成本极低 | 过度自信,需在目标分布上重校准 |
| Agent 工具选择 | 该调哪个工具 | Choice | 工具集固定,参数另填 | 255 上限;真正的错误在「答案→动作」映射 |
| Rubric 评审 | 回答是否满足第 k 条标准 | Noul / Score | 多条标准并行,比 LLM 评委便宜 | 标准互斥或冲突时会摇摆 |
几个真实落地的样子:Cloudflare 用它标记 GitHub 文档仓库的垃圾 PR、识别钓鱼邮件与钓鱼域名、检测 prompt injection、判断骨干网故障邮件是否影响自家服务;微软说 Copilot 的请求路由在同等准确率下快 2.2 倍、成本低 4.4 倍;TypeSafe 自己拿它做 Doom 实时决策,10 次/秒、约 $7/小时。
反过来,这五类别用
1. 需要算术、计数、日期比较的。 官方自己在 model-jaggedness 里列了:Jev 不是计算器,数不准,日期当文本读。正确做法是「模型抽取、代码计算」。
2. 需要多跳推理的。 双重否定、属性的属性、需要串几步才能得出的结论,准确率下降明显。官方建议把间接层砍掉,或者拆成两个原子问题在代码里组合。
3. 需要专业领域知识的。 复旦魏忠钰团队的 SII-Decision 论文测到:决策模型在文档理解上能略超 LLM,工具选择打平,但在医学、金融、法律这类需要领域专长的任务上落后于 LLM。推理能力是主因之一,但它不足以解释所有差距。
4. 拿它当交易信号。 有公开测试:BTC/USD 回测的 holdout AUC 只有 0.471–0.503,等于随机;NQ 订单簿模型 339 次决策命中 67.8%,扣掉手续费净亏 $62.69。判断准确率不等于决策赚钱,中间隔着赔率、成本和仓位。
5. 需要生成、需要解释、需要唯一决策者。 它不写字;也不该在不可逆的高风险决策上单独签字。
还有一个容易被忽视的限制:Jev 不支持用你的数据微调。 官方明确写「not fine-tuned or LoRA-adapted with customer data」,所有账户共用一套权重。你能改的只有 state、instructions、criteria。这跟 Sqwish 那类「拿生产数据持续后训练」的卖点正好相反——好处是不会被你的脏数据带偏,坏处是你的领域黑话只能靠提示词硬塞。
六、怎么上手:从注册到上线的五步
Step 1:跑通第一个请求
注册 console.typesafe.ai(早期送 $5 额度),拿 key,然后:
curl -X POST https://api.typesafe.ai/v1/systemone \
-H "Authorization: Bearer $TYPESAFE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "jev-1.14.0",
"state": "我的订单到货时是坏的,我要退款。",
"questions": {
"wants_refund": {
"type": "noul",
"instructions": "这位客户是在要求退款吗?",
"criteria": {
"true": "明确要求退钱、退款、返还货款",
"false": "只是抱怨,没有提出退款诉求"
}
}
}
}'
Python SDK:
pip install typesafe-sdk
from typesafe_sdk import Choice, Noul, Score, TypeSafeClient
TEAMS = {
"billing": "扣费、发票、退款、支付方式",
"technical": "Bug、报错、宕机、集成问题",
"account": "登录、改密码、权限、账户设置",
}
with TypeSafeClient(model="jev-1.14.0") as client:
r = client.system_one(
state=ticket_text,
questions={
"team": Choice(
instructions="这条消息应该由哪个团队处理?",
criteria=TEAMS,
),
"urgency": Score(
instructions="客户的情绪有多急?",
criteria=["平静", "不满", "愤怒", "准备流失"],
),
"wants_refund": Noul(
instructions="客户是否明确提出退款?",
),
},
)
team = r.answers["team"]
if team.confidence < 0.8:
route_to_human(ticket_text)
else:
route_to(team.choice)
JS/TS 用 @typesafe-ai/sdk;Vercel 侧有 @ai-sdk/typesafe-ai,但注意它把 noul 改名成 boolean,字段也从 noul 变成 probability,抄文档时要改。
Step 2:选对原语
- 有明确类别 → Choice。 选项描述要写成「包含什么 / 不包含什么」,别只写标签。
- 有程度 → Score。 别用 Noul 代替。Noul 的 0.5 是「拿不准」,不是「中等」。
- 是/否 → Noul。 初值阈值用 0.7 / 0.3,中间地带转人工。
- 超过 255 个选项 → 两级。 先对候选逐个打分,再对 top-k 做一次 Choice。这会慢,但比塞不进上下文强。
Step 3:把 prompt 改写成「原子问题」
Jev 是字面理解者。它会回答你写的问题,不是你想着的问题。 三个改写原则:
- 一个问题只放一个判断。 「这封邮件是否紧急且需要退款」要拆成两个;
- 把边界写进 criteria。 你事后解释「我其实是想说……」的那句话,就是 instruction 缺的那半句;
- 别让选项描述和 instruction 打架。
true映射到「否」这类反向配置,表现会明显变差。
Step 4:用 300 条真实流量做评测
不要用 benchmark 分数做上线决策。最少做四件事:
# 1) 准确率 + 2) ECE(期望校准误差)
def ece(pairs, bins=10):
total, err = len(pairs), 0.0
for b in range(bins):
lo, hi = b / bins, (b + 1) / bins
bucket = [(c, y) for c, y in pairs
if lo <= c < hi or (b == bins - 1 and c == 1.0)]
if not bucket:
continue
conf = sum(c for c, _ in bucket) / len(bucket)
acc = sum(y for _, y in bucket) / len(bucket)
err += len(bucket) / total * abs(conf - acc)
return err
# 3) 翻转率:把选项顺序打乱,看答案变不变
# 4) 覆盖率:在目标准确率下,有多少比例可以自动执行
四个指标各有各的用:准确率决定能不能用,ECE 决定阈值能不能信,翻转率决定选项顺序会不会坑你(官方承认 Jev 偏向第一个选项),覆盖率决定这套东西到底省不省钱。
一个经验值:300–500 条覆盖长尾的标注,比 5,000 条随机样本更能暴露问题。
Step 5:双阈值 + 升级,不要一步到位
全量请求
│
├─ confidence ≥ 高阈值 ──▶ 自动执行(写日志、留痕)
│
├─ 低阈值 ≤ c < 高阈值 ──▶ 升级给 LLM 复核 / 补一次生成
│
└─ c < 低阈值 ──────────▶ 人工 / 规则兜底
CMU 那篇预印本测过这个组合:Jev 把低置信度样本交给 GPT-6,准确率略高于单用 GPT-6,成本只有后者的 41%。 这是目前最稳的工程形态——便宜模型做分流,贵模型只处理它拿不准的部分。
上线时还有三个细节:
- 写死版本号,别用
jev-latest。 别名会随发布漂移,你的阈值不会自动跟着调; - 日志里记
response.model,出问题能定位到具体版本; - 灰度 5% → 50% → 100%,每档至少跑够一个业务周期。
成本核算模板
月成本 = 月请求数 × 平均输入 token × 0.042 ÷ 1,000,000
10 万次/月、平均 800 token:100,000 × 800 × 0.042 ÷ 1e6 = $3.36/月。
同样的量走 GPT-6 Astra(800 in / 20 out):100,000 × (800×10 + 20×50) ÷ 1e6 = $900/月。
这就是「敢不敢做全量判断」的分界线。 不是 Jev 多聪明,是它便宜到你可以对每一条数据都问一遍。
七、我的判断
第一,Jev 定义了接口,但没守住王座。 它把「state + 类型化问题 + 并行概率」这套契约做成了事实标准,微软、Cloudflare、OpenAI 都在兼容这个形状。但榜单上比它准、比它便宜、比它校准好的模型已经一大把,1.14 甚至比 1.13 退了一步。把它当「一类模型的标准接口」看,比当「最强模型」看更准确。
第二,省钱的叙事要分两层。 对前沿 LLM,便宜两个数量级,这是真事,它解锁的是「以前不敢全量跑」的场景;对 Luna 这种小模型,只便宜个位数倍,这时选它是因为延迟和类型安全,不是因为钱。
第三,真正的风险从「解析失败」换成了「高置信度地判断错」。 前者有异常可抓,后者静默。所以上线前那 300 条标注、那个 ECE、那个选项重排测试,不是可选项——它们是这套架构的一部分,不是附属品。
如果只记一句话:Jev 把 LLM 最贵的那一步换成了函数调用,代价是你得自己承担「判断对不对」的全部责任。
数据来源与说明
- TypeSafe 官方文档:
docs.typesafe.ai(System One、Models、Model jaggedness、AI primer,2026-11 访问);发布博文《Introducing System One Models & Jev》(2026-09-15) - Artificial Analysis Decision Index v2.1,2026-11-14 快照(第三方,指数非准确率)
- JevBench / Benchmark Heaven,v1.8.x(2026-11-17),Capability = Intelligence 与 Calibration 的均值
Releasing the Inner Jev: A Simple Recipe for Open Decision Models,arXiv 2610.17205OpenJev-RLCD,arXiv 2609.38850;Chinese-Jev,arXiv 2609.36965;RSAJEV,arXiv 2610.15742- Krishnan 等关于 Jev 延迟与混合升级的预印本(经多家媒体转述,未见完整原文,数字按转述引用)
- 复旦魏忠钰团队 SII-Decision 基准研究(经媒体报道转述)
- OpenReplay《什么是 Jev》(2026-11-08)、TechCrunch 关于决策模型占 Vercel 路由流量的报道(经二手转述)
- 钓鱼邮件基准
jev-phishing-bench(2,000 封,单项问题,62.6% vs Claude Haiku 4.5 81.3%)
口径提醒: 文中「每百万次成本」均为按输入 token 单价折算的模型成本,不含网关、重试、人工复核;不同榜单对「延迟」的测量点不同(模型侧 / 端到端),跨榜比较只看数量级,不要看小数点。厂商自报数字均已在文中标注来源,独立复现结论单独标出。