RSI 是怎样让 AI 改进自己的 ❓❓❓

0 阅读12分钟

最近在做 DocFlow,一个融合 Agent、RAG 和知识图谱的全栈实战项目,实测支持百人实时协同,支持 Word(DOCX)、PDF 导入,Agent 能检索资料、改写文档、操作表格,背后实现了 主 Agent 统筹、子 Agent 并行查证与结果复核,以及上下文自动压缩、长短期记忆和任务恢复,RAG 则涵盖 父子分块、BM25+向量混合检索、RRF 融合、重排与原文引用溯源,适合想深入源码、动手做 AI 应用的同学

同时整理了 80 篇 Agent 开发、72 篇 RAG、70 篇知识图谱文章,共 222 篇学习资料,从基础原理到工程实践,可以结合源码边学边做,感兴趣可以加我微信 yunmz777,了解项目与配套资料,一起交流 AI 开发。

我们让 AI 完成一项任务,它发现错误以后继续修改,直到结果满足要求,这个过程已经很常见。但任务结束以后,这次纠正是否改变了系统,下一次改进又能否利用这次积累的能力,是另外两个问题

RSI 研究的正是这种能够延续下去的自我改进。它的全称是 Recursive Self-Improvement,中文叫递归自我改进,核心过程是让 AI 利用经验和反馈修改自身,保留经过验证的变化,再让更新后的系统参与下一轮改进

理解 RSI,需要一直追踪两个对象:系统处理任务的能力,以及系统产生改进的能力

它们可以一起提升,也可能只改善其中一项。把这层关系弄清楚,后面的模型训练、工具修改、经验积累和验证,就能放到同一条主线上理解

RSI 的变化要留在系统自己身上

假设一个 AI 写出的程序有错误,它根据测试结果修复了程序,这次变化发生在交付物上。如果下次处理同类任务时,它仍然使用完全相同的方法,就不能仅凭这次修复认定系统已经学会了改进自己

自我改进关注的是另一类变化:系统修改了自己的工具、处理策略、可复用经验或模型参数,并在后续运行中继续使用

例如,一个 Coding Agent 经常因为替换范围不准确而改坏文件。它可以只修复这次改坏的代码,也可以进一步修改自己的编辑工具,增加定位检查和修改前后的验证,让后续编辑过程发生变化

后一种修改作用于系统自身,具有跨轮次保留的可能

The Last AI Built by Humans 就将模型参数、Agent Harness 和改进策略都纳入自身变化的范围。它关注变化保存在哪里、后继系统继承了什么,以及继承结果怎样影响后续改进,因此自我并不只指模型权重

不过,持久保存也不等于有效学习。一段日志如果从未被再次读取,就只提供历史记录;一条经验即使被读取,也要能够影响具体决策,才能改变系统行为

20261118173718

因此,判断自我改进时,我会先找出实际发生变化的对象。只有明确它如何被保存和再次使用,我们才知道改进有没有跨过当前任务

递归让上一轮的能力参与下一轮改进

持久修改解释了自我改进,递归还需要再往前看一步

我们可以想象一个固定的优化程序,它不断修改某个 Agent,并保留表现更好的版本。Agent 的任务成绩可能持续提高,但负责寻找修改的方法始终没有变化,这时我们观察到的主要是一个固定优化过程

RSI 进一步关注,更新后的能力能否返回改进过程,影响下一轮怎样发现问题、提出候选、判断效果或保留经验

这个返回关系可以通过不同方式建立:

  • 编辑工具改善后,系统更容易修改自己的实现
  • 问题诊断能力提高后,下一轮能更准确地定位失败原因
  • 过去的实验经验被保留后,系统减少重复尝试无效方案
  • 模型经过训练后,能够产生更高质量的改进候选

这里不要求每一轮都重写改进器的源码。模型能力、工具和经验发生变化,也可以改变同一段程序实际做出的判断

Harness² 提供了一个具体例子:系统调整当前任务的执行方式,再整理这次调整中哪些修改有效、哪些没有观察到作用,供后续改进过程参考。新任务从基础 Harness 出发,但负责提出修改的过程可以利用已有经验,前一轮的结果因此进入了下一轮怎样改进的决策

20261118174339

递归描述的是这种反馈关系,不是程序运行了多少次,也不是某个函数必须调用自己

执行任务与寻找改进可以由同一个模型完成,也可以由不同组件承担,关键在于系统继承的变化是否真正参与了后续改进

系统可以改变参数,也可以改变使用能力的方法

弄清楚递归关系以后,我们就可以判断具体方案到底在改什么

模型参数决定了部分推理和决策能力,围绕模型组织执行的程序,则影响这些能力怎样被调用。工具接口、信息读取方式、技能选择和错误处理,都可能成为修改对象

修改对象具体改变什么后续可能受到的影响
模型参数推理、决策和工具使用行为更准确地执行任务或提出修改
提示词与策略工作顺序、选择条件和检查要求调整系统处理问题的方法
工具与代码编辑、搜索、计算和验证能力提高动作的准确性与执行效率
经验与技能可复用的方法、适用条件和失败教训为后续决策提供已有依据
改进方法问题诊断、候选生成和实验选择改变下一轮怎样寻找有效修改

这些对象可以组合使用,但它们不会因为被保存下来就自动产生收益,还需要检查实际行为和结果

以工具与代码为例,Darwin Gödel Machine 让 Coding Agent 修改自己的实现,再通过编码任务评价新版本,修改范围包括编辑工具和工作流程。它保留多个历史版本继续探索,而基础模型权重保持冻结,说明系统层面的自我修改可以发生在模型之外

参数更新则需要经过训练。系统可以从执行中获得经验,筛选有效轨迹,形成训练材料,再通过监督训练或强化学习得到新模型。更新后的模型如果继续参与经验生成和后续改进,就形成了需要进一步分析的递归关系

这里有一个实用的区分:训练决定参数怎样变化,RSI 关注这些变化怎样进入完整的改进过程

同样,记忆决定信息怎样保留,工具决定动作怎样执行。它们都可以成为 RSI 的组成部分,但任何一个组件本身都不足以说明整套递归关系已经建立

一轮自我改进要经过提出、验证和保留

RSI 的一轮运行,通常从任务结果或环境反馈开始。系统需要将这些反馈转化为具体问题,再提出能够被检查的修改

假设工具调用经常失败,可能是工具描述不清,也可能是参数生成错误,或者外部环境已经变化。如果没有定位原因就不断增加提示词,系统可能保存了更多规则,却没有解决实际问题

因此,提出修改时需要有可以检验的假设,例如修改工具返回结构后,关键字段是否更容易被正确使用。接下来生成候选版本,让它与原版本在可比较的条件下执行,再决定是否保留

验证至少要回答目标问题有没有改善、原有能力有没有退化,以及收益需要付出多少额外成本。候选无法运行、出现退化和证据不足,也应当有不同去向,不能为了让流程继续,就统一当成成功修改

20261118175428

保留阶段还要保存修改的适用范围。一项改变可能只对某类任务有效,如果不加区分地应用到所有任务,就可能把局部收益变成全局退化

同时,系统需要保留没有采用的方案及其原因。知道哪些方向已经尝试过、在什么条件下没有效果,也能帮助下一轮减少重复探索

改进反馈与最终验收不能混在一起

执行记录可以帮助系统提出修改,但记录本身未必足以判断结果正确

例如,Agent 最后输出任务完成,只能说明它做出了这个判断;工具调用没有报错,也只能说明调用过程满足了某些条件。最终结果是否达到任务要求,还需要对应的检查依据

对于可以客观验证的任务,我们可以使用测试、计算结果或环境状态。对于没有唯一答案的任务,则可能需要来源核对、人工评价和多种信号共同判断

HarnessPro 的做法是先根据任务信息生成测试,在演化期间固定使用,用它比较候选配置的通过情况与执行成本,再通过独立评估检查最终效果。这种设计让候选之间有相对一致的比较依据,但生成测试仍可能遗漏要求或错误理解题意

因此,内部验证通过只能说明候选满足了当前检查,不能直接扩大成它在所有情况下都更可靠

如果系统允许改进自己的内部评估方法,还需要另外检查评估器是否变得更准确。修改答案和修改验收标准同时发生时,分数变化就可能失去原来的含义

更会完成任务与更会改进自己,需要分别验证

一轮修改让任务成绩提高,说明新版本在相应条件下表现更好。要进一步判断有效递归,还需要检查它产生后续改进的能力

我会把这两种验证分开

执行能力的验证,比较新旧系统在未参与优化的任务上表现如何,检查准确性、完成度、旧能力和资源消耗

改进能力的验证,让原来的改进方法与更新后的方法,从可比较的系统状态出发,在相近资源下寻找修改,再检查它们产生的后继版本

后一种验证关注的是问题定位是否更准确、有效候选是否更多、无效尝试是否减少,以及找到的修改能否迁移到后续任务

如果新版只是多尝试了许多次,或者使用了更强的外部模型,就需要将这些因素单独记录,不能全部归因于递归机制

20261118180046

这样,我们才能区分系统只是完成了更多尝试,还是从前面的尝试中学会了更有效的改进方法

结构上的递归可以通过流程确认,有效的递归则需要这样的对照证据

自我改进能够积累收益,也会遇到瓶颈

RSI 并不保证每一轮都变好,候选生成、反馈质量和验证能力都可能限制它

如果系统判断不出问题出在哪里,就可能围绕错误原因反复修改;如果缺少有用的工具或能力,就可能一直生成相似的候选;如果验证覆盖不足,还可能接受看似有效、实际带来退化的变化

一个简单例子是,测试只检查文件是否存在,却没有检查文件内容。系统即使越来越擅长通过这项测试,也未必越来越擅长完成真实任务

改进还会受到资源和任务本身的影响。容易解决的问题逐渐减少以后,找到下一项有效修改可能需要更多实验,验证复杂任务也可能成为主要成本

因此,有效递归不要求每一轮的增幅都更大,也不能直接推出无限增长

我们需要观察的是,在明确的条件和资源下,继承的能力与经验是否继续帮助系统找到有效修改,并如实记录收益减弱、退化和无法确认的情况

总结

RSI 把经验、修改、验证和继承连成一个持续过程。它的修改对象可以是模型参数,也可以是工具、策略和经验,递归发生在这些变化重新参与后续改进的时候

系统做任务的成绩提高,说明执行能力发生了变化;系统能够更准确、更高效地找到后续改进,才为有效递归提供了进一步证据

我们理解 RSI 时,最需要看清的就是这条关系:上一轮究竟留下了什么,它怎样影响下一轮,以及这种影响是否经得起验证