Meta^n 拆解:Agent 递归改进自己的改进方式,为什么以前的系统只能叠两层

0 阅读11分钟

大多数「会自我改进」的 Agent,改的是答案:这道题做错了,看看报错,再写一版。明尼苏达大学 Minnesota NLP 组的论文 Meta^n 想往上再走一层,让 Agent 改进的是「产生答案的过程」,而且这一层之上还能再叠一层、再叠一层,叠几层由系统自己决定。论文 8 月 25 日挂上 arXiv,一作 Zae Myung Kim 在主页上写了已被 NeurIPS 2026 接收,代码以 MIT 协议开源。这两天中文圈又把它翻了出来,标题是「Agent 如何实现递归自我改进」。

「递归自我改进」这个词被说得太多了。这篇论文把它落到了具体的工程设计上,还解释了以前的自改进系统为什么大多停在两层左右,所以值得细看。

它是什么

项目内容
论文Meta^n: Recursive Self-Improvement through Emergent Depth(arXiv:2608.24735)
作者Zae Myung Kim、Young-Jun Lee、Seungyeon Jwa、Dongyeop Kang(明尼苏达大学、首尔大学)
发布2026-08-25 挂 arXiv;作者主页称已被 NeurIPS 2026 接收
代码GitHub minnesotanlp/meta-n,MIT 协议,Python ≥ 3.11
实验用的模型Gemma 4 31B-IT(开放权重)和 GPT-5.2,所有层用同一个模型
基准CO-Bench、AlphaEvolve Math、符号回归、AlgoTune、ARC-AGI-2、TerminalBench 2.0、Symptom2Disease、LawBench 罪名预测,共 8 类
对比基线Gödel Agent、OpenEvolve

README 自己说得很克制:这是个研究原型,实验结果是探索性的。

先说问题:为什么自改进的「层数」上不去

论文把已有的自改进方法分成三类,图 2 画得很清楚:

范式代表做法论文给的实际 meta 深度
手工 metaFunSearch、AlphaEvolve、OpenEvolve、ADAS、AFlow外面套一个固定的搜索循环,去改里面的求解器1
自指型Gödel Agent、DGM、STOP、HyperAgentsAgent 可以改写自己的代码,包括改进逻辑本身约 2.5
Meta^n本文改进操作固定不变,递归作用在它的输入上由收敛决定,实测 3–6

第一类的问题用论文的原话说是「求解器在进步,改进器没有」:搜索策略是人写死的,永远只有一层。

第二类听起来最接近「递归」:既然 Agent 能改自己的代码,改进器当然也能改改进器。但论文指出,这些系统在实践里都悄悄冻结了一块:Gödel Agent 冻结了 action API 和目标 prompt,DGM 冻结了存档维护和父代选择,HyperAgents 冻结了外层评估循环。原因也直白,如果连「怎么改自己」的那部分都能被随便改,一次坏的修改就可能把整个脚手架改坏,系统再也回不来。论文把这个两难概括成一句话:递归改进器,换来的深度要拿稳定性去付。

所以实际能用上的深度大约是两层多一点。

Meta^n 的做法:不改改进器,改改进器看到的东西

Meta^n 的思路是把这个两难绕过去:改进操作 Ω 是一个固定的 prompt 流程,一套模板跨所有深度、所有基准都不变;递归发生在 Ω 的输入上。

深度 1:基础求解器 S1(单次 LLM 调用,或 8 轮 observe/act 循环)
          │ 跑一遍所有任务,留下 trace(脚本、输出、报错、分数、评估反馈)
          ▼
深度 2:Ω( S1 的 traces ) ──► C2 = pre_process 钩子 + 代码库
          │ S2 = M2(C2, S1),再跑一遍,留下新 trace
          ▼
深度 3:Ω( S2 的 traces + 已生成的 C2 ) ──► C3
          │ S3 = M3(C3, S2)
          ▼
        ……直到 Ω 返回空,或者连续几层提升不够

几个设计点值得拆开看。

Ω 输出的是代码,不是评语

每一次 Ω 调用的产出 C_d 由两部分组成:

  • pre_process:一个小 Python 函数,在每次求解前运行,给这个任务注入策略上下文(ctx_d),比如「这类题先做 X 再做 Y」。
  • code library:可以直接调用的辅助函数,比如 fuzzy_match_label()、reconcile_labels()、simulated_annealing()。

论文强调 meta 层是「建设性的」,会写代码;以前很多 meta 层只是「评估性的」,判断接受还是拒绝。

每一层的输入都比上一层多

Ω 本身不变,但第 d 层看到的输入包括下层的全部 trace,以及已经生成的整摞代码 [C2…C(d-1)]。所以深层不只能看到「发生了什么」,还能看到「是哪段注入的代码导致了这个结果」。论文说这样每一层都比上一层站得高一点。深度 3 起,trace 改成结构化摘要,让注意力从单个错题转到整个栈的模式上。

运行时一层层往里传

跑一个任务时,最外层的 pre_process 先跑,生成上下文,再一层层往里传,每层细化一次,最后交给基础求解器写脚本。各层的代码库合并后拼到脚本前面,同名函数深层覆盖浅层,然后在沙箱里执行。

外层只是包装内层,不改内层的状态。注入的代码先过静态检查(ast.parse、拦截 os、subprocess、socket、sys 这类导入、长度上限 1 万字符),再在隔离命名空间里做冒烟测试,定义时就崩溃的函数直接丢掉。改进器不会被改,下层也不会被改坏,所以它可以一直往上叠。

叠几层,不是人定的

线性模式下,满足任一条件就停:Ω 返回空代码、连续几层平均分提升不到分数范围的 2%、或者到了最大深度(论文报告的运行都没碰到上限)。实际跑下来停在 3 到 6 层之间。在此之上还有一个进化存档:按分数和「被扩展次数少」加权采样父链,每个父链生成多个子链,在父链表现差的任务上,把别的链的最好 trace 也塞给 Ω 参考。

一个具体例子:第三层把事情搞砸了,第四层改了回来

论文图 3 用 LawBench(中文罪名预测)走了一遍:

深度Ω 写了什么分数
1基础求解器0.767
2fuzzy_match_label():把模型预测的罪名匹配到最接近的官方标签0.807
3reconcile_labels(),外加一条指令:「做穷尽式法律分析,列出每一个可能的罪名」0.773(回退)
4注释写着「穷尽式分析导致了回退,改回结构化分析」,保留 reconcile_labels0.833

第四层能做出这种判断,正是因为它的输入里有第三层的代码。扁平的自我修正循环只看得到「分数掉了」,看不到「是那条指令害的」。

结果:领先,但要看清口径

下面的数字都是论文作者自己跑的,三个随机种子取平均。

Gemma 4 31B-IT:

方法CO-BenchLawBenchAE MathAlgoTune(加速倍数)
Meta^n(存档最佳)0.8510.8150.869×15.10
OpenEvolve0.8140.7450.802×10.45
Gödel Agent0.4510.7750.581×13.22

GPT-5.2:

方法CO-BenchAE MathARC-AGI-2(dev)
Meta^n(存档最佳)0.8700.9170.331
OpenEvolve0.7020.7260.003
Gödel Agent0.5270.6740.054

几处要注意:

  • 「存档最佳」是对每个任务取存档里最好的那条链再平均,相当于一种 oracle 式的挑选。最好的单条链要低一些,比如 GPT-5.2 的 CO-Bench 是 0.806,ARC-AGI-2 只有 0.123(单种子)。论文两种都报了,读的时候别只看高的那个。
  • ARC-AGI-2 是论文最亮眼的一条:held-out 集上只有 Meta^n 解出了题,两个基线都是 0。但这个数是 GPT-5.2 跑的,每个种子约 632 美元。
  • 文本分类(Symptom2Disease)上的领先幅度很小,作者自己说不声称显著。
  • AlgoTune 是唯一 agentic 模式反而不如单次调用的基准,原因是 Ω 加的上下文把求解器约束得太死。
  • SWE-Bench 上 Ω 根本没被触发:种子解已经很强,最好的就是第 0 代。
  • 算力对齐也做了:把 Meta^n 的 token 压到 OpenEvolve 的预算,LawBench 仍是 0.784 对 0.745;给 Gödel Agent 加到 10 倍预算,CO-Bench 也只从 0.502 爬到 0.628,曲线在 0.4–0.6 之间来回震荡。

增益到底从哪来

消融结果很说明问题(Gemma,CO-Bench,完整版 0.845):

去掉的部分分数变化
代码库0.825−0.020
层间传递的上下文 ctx_d0.751−0.094
整个递归(只留 1 层)0.714−0.131

论文的拆分是:递归带来的增益里,约 72% 来自层间传递的那段上下文,代码库约占 15%,剩下约 13% 来自 beam、重试、跨链参考这些搜索机制。也就是说,真正起作用的是「上一层把它学到的策略讲给下一层听」,而不是那些自动写出来的工具函数。

层数越深,角色越抽象

论文还发现,不同深度自己长出了不同的分工,没有任何 prompt 规定过:

  • 深度 2:写通用原语。CO-Bench 上深度 2 的输出全是战术原语,36 个最终获胜解里有 22 个调用了 Ω 写的库函数,simulated_annealing 一个函数就传播到了 15 个获胜解里。每条链从深度 1 到 2 都有提升,平均 +0.113。
  • 深度 3:开始写专用库,也开始出现层间干扰。41% 的(链,任务)组合出现回退,平均变化 −0.006。回滚操作在深度 2 是 0,到深度 3 出现。
  • 深度 4–6:主要在纠错和细化。平均分在深度 3 最高(0.726),到深度 6 降到 0.602,但深层仍然独占一部分胜利:深度 ≥ 4 的候选赢下了 CO-Bench 31% 的任务。

论文图 1 给这些角色起了名字:通用修复者、算法库管理员和任务路由、元策略师和架构师。这些角色标注是用 GPT-5.2 和 Kimi-K2.6 两个模型做的,平均一致性 κ = 0.59,最抽象的两类只有 0.37 和 0.30,所以「角色涌现」这个结论本身也有一定的标注噪声。

适用场景和局限

适合:

  • 有自动评估器的任务:组合优化、数学构造、符号回归、性能调优。Ω 吃的是 trace 和分数,没有可靠的 eval 就无从改进。
  • 失败模式多样、种子解还有很大余地的任务。论文自己总结,增益依赖两个条件:种子之上有余量,失败的方式够多。
  • 想把「这一类题怎么做」沉淀下来的场景。Ω 写出的 pre_process 和库是可读的 Python,比微调权重好审查得多。

不适合,或者要小心:

  • 成本不低。 CO-Bench 36 个任务,单次模式约 3 小时,agentic 模式约 10 小时;GPT-5.2 跑 CO-Bench 用了约 17M token。prompt 类基准上,满预算的 Meta^n 比 OpenEvolve 多用 10–20 倍 token。
  • 评测集会被「学」进去。 Symptom2Disease 的 dev 分 0.887,test 只有 0.725,差距不小。层层叠出来的策略有过拟合 dev 集的风险。
  • 深度不等于收益。 平均分在第 3 层见顶,再往上主要是在修前面的错。
  • 没测强弱搭配。 所有层用同一个模型,这是区分「深度带来的增益」和「模型能力带来的增益」的正确对照,但实际部署时很多人会想用强模型当 Ω、弱模型当求解器,这种组合论文没测。
  • 注入代码的安全。 论文的静态检查加沙箱是研究原型级别的;如果要把这种「模型自动写代码注入自己的执行链」的结构用到生产里,隔离和审计要自己补。

我的判断

比起分数,我更看重这篇论文把「递归自我改进」拆成了一个可以讨论的工程问题:哪一部分必须冻结,哪一部分可以递归。 以前的自指型系统想让改进器自己改自己,结果为了稳定不得不偷偷冻结一块,深度上不去;Meta^n 干脆承认改进器要冻结,把递归放到输入上。这个取舍不算漂亮,但能跑起来。第四层回滚第三层的例子也说明,多看一层代码确实能带来扁平循环做不到的归因。

不过要把预期放平。第一,它改进的是围绕固定模型的脚手架(上下文和工具函数),模型权重一点没变,离「AI 改进 AI 本身」还很远。第二,消融显示七成增益来自层间那段自由文本上下文,这其实说明它更像是一套「自动写 system prompt 和工具库」的系统,层数带来的是更好的提示,而不是什么新能力。第三,所有数字都是作者自测,最亮的 ARC-AGI-2 结果只在一个闭源模型上跑过,成本也不低,等第三方复现再下结论比较稳妥。

对做 Agent 的人来说,我觉得可以直接借走两点:一是让负责「改进」的那一层看到产生 trace 的代码,而不只是 trace 本身;二是改进逻辑固定、只包装不打补丁,这样的自改进系统才回得来。至于层数能不能一直叠下去,论文自己也说还不知道。

本文没有实际运行 meta-n 的代码,所有实验数据均来自论文。

参考资料