不换大模型、关掉深度思考:Hugging Face 用一个 LoRA 把 27B 编程能力拉到 64.7%

0 阅读4分钟

跑本地编程代理时,开发者常卡在一个两难里。开高强度深度思考,准确率上去了,但每次改代码前先吐几千个思考 Token,等半天不说,上下文和算力成本也跟着飙。关掉思考直接出动作,模型又容易在复杂仓库里写偏。

11 月 18 日,Hugging Face 开源了一个名叫 harness-hub/Qwen3.8-27B-pi-adapted 的 Rank-32 LoRA 适配器,采用 Apache-2.0 协议。它没有替换原本的 Qwen3.8-27B 基座模型,只加了一层轻量适配器,把模型在 SWE-bench Pro hard-51 上的通过率从 39.2% 拉到了 64.7%。

更有意思的地方在于,这个成绩是在关掉深度思考模式的情况下跑出来的。

关掉思考,反而追平最高推理档

按常规经验,关掉推理模型的 thinking 过程往往意味着智商打折。Hugging Face 这套方案反着来,直接用异步强化学习(AsyncGRPO via TRL),把模型放进 pi 编程代理的真实命令行环境里训练。

训练时,他们刻意关掉了基座模型的 thinking 模式。模型不能再靠长篇大论的自言自语去试探下一步,只能把工具调用习惯、读文件顺序和修 Bug 的决策直觉,直接压缩进 LoRA 权重里。

根据官方模型卡披露的实测数据,在 SWE-bench Pro hard-51 子集上,Qwen3.8-27B 加上这个适配器后,pass@1 从原来的 39.2% 跳到 64.7%。这个数字直接追平了原基座开到最高推理档(xhigh)的成绩。在包含 86 个任务的 Terminal-Bench 2.1 上,通过率也从 39.5% 升到了 55.8%。

由于省掉了大段内部独白,每个任务消耗的 Token 数量平均减少了约 4.5 倍,执行回合数也明显下降。对于在本地用 vLLM 或 llama.cpp 跑编程代理的人来说,等待时间缩短和显存压力下降是立竿见影的。官方也同步放出了 GGUF 量化版本仓库,方便直接塞进本地工作流。

image.png

从通用大模型到专用工具链适配器

这件事真正值得留意的,其实不是某一次刷榜,而是它换了一种优化思路。

过去大家默认模型要通用,一套权重既要会聊天,又要会写代码,还要适配 Cursor、Claude Code、OpenCode 和各种自研脚本。为了兜住所有场景,模型只能靠超长推理链现场临场发挥,把算力全花在运行时。

Hugging Face 这次把方向拧成了「单框架特化」(Harness-Specific Adapter)。既然某个开发者每天 80% 的时间都在用 pi 这一个命令行代理,那模型根本不需要在每次调用时重新摸索工具格式和交互节奏,直接在强化学习阶段把 pi 的状态机背下来就行。

这种把「运行时推理成本」提前转移到「离线强化学习权重」的做法,让 27B 这种中等体量模型在特定工具链里打出了大得多的身位。

image.png

官方写明的四个边界别忽略

模型卡没有只报喜,几条关键限制写得很清楚,打算往生产环境塞之前得先看明白。

这套权重强绑定 pi 的提示词结构和工具调用约定。换句话说,它存在明显的框架过拟合。如果你把它直接套进 OpenCode 或者普通多轮对话界面,刚才那套 64.7% 的增益不会自动迁移过去,甚至可能表现反常。要用在别的框架里,得单独训练对应的适配器。

深度思考模式被彻底固化关掉了。官方实测表明,在加载这个 LoRA 的情况下强行重新打开 thinking,不会带来任何额外的准确率提升,只会白白多生成大约 4 倍的 Token。

评测样本量本身偏小。SWE-bench Pro hard-51 只有 51 题,Terminal-Bench 2.1 只有 86 题。在单次采样下,成对差异的 95% 置信区间宽达正负 10 个百分点左右,实际项目里的体感波动会比榜单数字更明显。

本地量化版本还没做完整复测。64.7% 的高分是在未量化的 BF16 精度下用 vLLM 跑出来的,同步放出的 GGUF 版本尚未经过全面重测,消费级显卡上做低比特量化后,准确率可能会有轻微折损。

即便带着这些边界,这种路线依然给本地 AI 编程打开了一扇很实际的门。以后开发者未必需要天天等参数更大的新基座,围绕自己顺手的那套 Agent 框架配一个轻量 RL 适配器,可能才是本地跑得快、花得少的现实解法。