摘要:前OpenAI研究员、RLHF核心贡献者Diogo Almeida发布JEV决策模型,不生成任何文本,只输出带校准概率的结构化决策。速度比前沿大模型快40到200倍,成本低400倍,输出永久免费。APUS开源复现的fast-browser-use证明:一台M2 Pro消费级笔记本,18秒完成浏览器自动化检索,全程离线,零API费用。这不是更快的模型,是Agent架构的“快慢分工”革命。
一、JEV只做三件事,但每件都是Agent的高频刚需
JEV的API极简,只处理三种结构化问题:
| 原语 | 功能 | 返回结果 |
|---|---|---|
| Choice | 从给定选项中选择 | 最优选项加概率分布 |
| Score | 在自定义尺度上打分 | 连续数值加置信度 |
| Noul | 判断真伪 | 0到1之间的概率 |
三种问题可以在同一次调用中混用,并行产出。给它一个state和一组questions,直接返回结构化JSON。
例如收到客服邮件,JEV同时判断:应该分给哪个部门(销售85%)、紧急程度(高92%)、退款风险(中45%)。程序拿到0.95可以和阈值比较、触发告警、自动分派工单。拿到“看起来比较紧急”这句话,程序什么都做不了。
二、为什么快:跳过自回归解码
传统大模型逐Token生成,每多一个判断就要多生成一段文本,耗时线性增长。JEV的核心逻辑是“跳过自回归解码,隐状态直接打分”——保留Transformer前端,拿掉自回归解码,直接从中间层输出判断。一次前向计算完成所有回答,问1个问题和问100个问题耗时几乎相同。
端到端延迟被压缩到70到500毫秒。对比前沿大模型通常3秒以上的响应时间,这是数量级的差异。
三、RLCD:让置信度变得可信任
Diogo Almeida是RLHF的早期贡献者,但他离开OpenAI后对RLHF的局限做了深刻反思:RLHF让大模型为了讨好人而瞎回答,面对人都无法打分的复杂问题时,模型会“不懂装懂”。
RLCD(校准决策强化学习)的核心目标只有一个:让模型输出的置信度与实际正确率匹配。当模型声称有70%把握时,约70%的相关预测应当正确。开发者可以据此设置三档路由:高于90%自动执行,70%到90%提交人工确认,低于70%升级至更强模型。
RLCD不是在优化“答案好不好看”,而是在优化“答案能不能被机器信任”。
四、开源复现:一台消费级笔记本,零API费用
JEV发布后一周内,全球开发者社区涌现出八个开源复现项目。APUS的fast-browser-use是最具落地价值的样本之一:
| 指标 | 数据 |
|---|---|
| 测试设备 | Apple M2 Pro消费级笔记本 |
| 维基百科检索中位耗时 | 约18秒 |
| 表单填报、站内导航耗时 | 约3秒 |
| 单任务模型打分次数 | 仅4次 |
| 云端调用 | 零 |
| API费用 | 零 |
| 数据流向 | 不出本机 |
Bespoke Labs的Nimble是目前最接近JEV性能的开源方案。基于Qwen3.5-9B,用不到3000个训练样本做LoRA微调,与参考标签的一致率从66.36%提升至90.12%(JEV官方基准93.21%),Apache 2.0协议,可本地部署、可二次微调。
五、Agent架构的“快慢分工”
JEV验证了一个判断:Agent不应该全部由大模型驱动。80%的调用是“这封邮件是不是垃圾邮件”“在五个接口里选哪个”这类高频原子化判断,不该让一个千亿参数的庞然大物在数秒内逐字敲出一串JSON。
必须交给大模型的,是开放式内容生成、复杂多步推理、问题边界不清的任务。分类、路由、评分、风险判断——这些“智能if语句”,交给决策模型。
把昂贵的算力用在该用的地方。不需要用GPT-6来判断一封邮件是不是垃圾邮件,也不需要为了一个简单的分类任务支付旗舰模型的API费用。
查看原文
以上仅为核心速览。完整版包含:JEV三种原语的完整API调用示例、RLCD与RLHF/RLVR的深度对比、fast-browser-use/Nimble/JEV-CPU三条上手路径的完整配置代码、八条开源路线的分层拆解(L0到L3),以及Agent“快慢分工”架构的完整工程判断。
本文首发于微信公众号「阿Q的AI笔记」,点击下方链接阅读全文:
关注公众号
如果你想获取完整的API调用代码、开源部署指南和Agent架构前沿分析,欢迎关注公众号「阿Q的AI笔记」。