AI 能不能越用越会用?从“改答案”到“改进自己”,读懂 RSI

0 阅读13分钟

假设一个编程 Agent 写出的代码有没有通过测试。它能不能根据报错修好代码,再把这次的修复经验留下来,让下一次做得更好?

这就是 RSI 想探索的方向。

RSI 是 Recursive Self-Improvement 的缩写,通常译作“递归式自我改进”。简单说,就是 AI 不只完成任务,还把任务过程中产生的答案、失败记录、反馈、数据,甚至代码,重新放进改进流程,让后续表现有机会变好。

不过,RSI 不是一个定义完全统一的术语,也不等于 AI 已经能“自己无限升级”。self-evolve、self-play、self-refine、self-reward、self-distill 等说法都和它有关,但彼此有交叉。与其先记住一串名词,不如先看三个问题:

  • 改进的是什么? 是一条答案、模型参数,还是 Agent 的工具和工作流程?
  • 改进能保留多久? 只影响当前回答,还是能带到下一次任务?
  • 谁来判断改得好不好? 人、自动测试,还是模型自己?

RSI 离“完全自动”还有多远?

可以用三个阶段来理解人类在改进流程中的参与程度。这是一个方便讨论的框架,并非严格的标准分类。

  • 人在环路(human-in-the-loop) :AI 提出答案或修改方案,关键步骤需要人逐次检查、确认。
  • 人在环上(human-on-the-loop) :系统可以自动生成数据、反馈和评估结果,人主要负责监督、抽查和决定是否上线。
  • 闭环(closed loop) :系统能自行提出改进、验证效果,并在设定范围内保留或撤销改动,不需要人逐次审批。

目前,不少研究和产品已经自动化了改进流程中的一部分,但整体上仍离“无人监管的完整闭环”有距离。尤其在实际业务中,人通常仍要负责设定目标、检查安全风险和批准重要变更。

从改进发生的时机看,相关方法还可以粗略分成两类:任务进行时的改进,以及训练阶段的改进。两者不是绝对互斥的,比如测试时训练本身就涉及参数更新;这个分类主要是为了方便理解。

一、任务进行时改进:先改答案,再改 Agent

这类方法常被称为 Test-Time RSI,也可以理解为部署或推理阶段的改进。变化发生在 AI 正在处理任务时,不一定要等到下一轮离线训练。

1. 自我检查和修改:只改当前答案

最常见的流程是:

生成初稿 → 检查或验证 → 修改答案 比如,AI 先写一段代码,再运行测试;发现报错后,根据错误信息修改代码。客服助手也可以先草拟回复,再核对企业知识库或订单记录,减少答错政策和订单信息的情况。 这里要注意, “让模型自己检查自己”不一定可靠。如果模型没有新的证据,只是换个说法重新评价自己的答案,就可能把原来的错误也一起保留下来。实际工作中,运行测试、查询可信资料、调用专用求解器,或让独立的评估器参与检查,往往能提供更有用的反馈。 这种方式通常只改善当前回答。除非系统另外保存了经验或更新了模型,否则一次任务结束后,修改过程一般不会自动变成模型的长期能力。

2. 测试时训练:让经验影响后续表现

再往前一步,系统不只修改答案,还尝试在任务过程中更新模型参数,或更新一个临时的模型组件。这类方法常被称为 Test-Time Training(TTT) 。

可以把它理解为:

任务经验 → 参数或状态更新 → 影响后续输出 它和“把对话记录放进上下文”不完全一样:上下文只是让模型暂时看到更多信息,而参数更新则试图改变模型接下来的行为。不过,更新是否会长期保留,要看具体做法。有些更新只在当前任务或会话期间有效,任务结束后就会清除;有些则可能继续影响后续任务。 Test-Time RL(TTRL) 则尝试把强化学习式的优化放到测试阶段。系统可能生成多个候选答案,再依据自动测试、执行结果或其他奖励信号进行调整。它并不意味着模型“凭空学会了新能力”:奖励信号是否可靠、参数改动是否稳定,仍然是关键问题。 测试时更新也有成本和风险,比如推理变慢、过度适应当前任务、影响已有能力,或把不可靠的信息写进模型。因此,它更像一种正在探索的适应方式,不是简单地多运行几轮就能保证模型变强。

3. Agent 改进:把经验留在工作流程里

对 Agent 来说,改进对象还可以是整套“工作装备”,也就是 Harness。它可能包括提示词、工具、记忆、技能、工作流程,甚至 Agent 自己的代码。

举个例子:一个报表 Agent 总是漏掉日期格式检查。它可以记录这次失败,在后续任务中加入“先统一日期格式、再生成报表”的步骤。这样留下来的不只是一次更好的回答,而是一条可以重复使用的技能或工作流程。

一些研究探索了不同层面的做法:有的从计算机操作 Agent 的失败过程中提取训练经验;有的尝试记录执行路径、失败原因和修复办法;SkillMaster、SkillSmith、Socratic-SWE 等工作探索技能的生成或调整;Gödel Agent、Darwin Gödel Machine 等研究则进一步尝试让 Agent 修改自身代码。

这些名称代表的是不同研究方向,不等于相关能力已经成为成熟、可直接用于生产环境的通用产品。尤其当 Agent 能修改工具或代码时,权限控制、测试和回滚就非常重要。

从改进能保留多久来看,可以把这条路线概括成:

改一条答案 → 更新模型状态或参数 → 改进 Agent 的记忆、技能和工作流程 改动越能跨任务保留,系统越有机会积累经验;但同时,错误也可能被保留下来,风险和管理难度随之增加。

二、训练阶段改进:把经验变成下一版模型

另一类方法会把模型生成的数据、反馈或奖励重新送回训练流程,形成新的模型版本。它和任务进行时的改进不同:重点不是当前回答马上变好,而是希望训练后的模型在下一轮任务中表现更好。

1. Zero-label:题目由外部提供,学习信号尽量自动生成

这里的 zero-label 不应理解为“完全没有监督”。更准确地说,它试图减少逐条由人标注答案或奖励的需求,转而使用自动生成或自动验证的学习信号。

常见做法大致有三类:

  • 微调(Fine-tuning) :模型先针对已有问题生成推理过程,再筛选较好的样本用于训练。经典方法 STaR 会根据答案是否正确筛选推理过程;一些后续研究则尝试依靠自动验证,减少对人工标注答案的依赖。
  • 强化学习(RL) :系统尝试让模型或其他自动机制产生奖励信号。例如利用模型置信度、多个候选答案的一致性,或同一道题的多次尝试结果来构造奖励。这些信号可以作为参考,但不等于真实答案;模型有信心,也不代表它一定正确。
  • 蒸馏(Distillation) :学生模型先生成自己会遇到的样本,再从教师模型获得更细的训练信号。On-policy self-distillation 等方法尝试让教师和学生来自同一模型或同一模型的不同状态。不同方案对参考答案、验证器和外部教师的依赖各不相同;一些无标签变体则尝试用多次生成结果的一致性构造伪答案。

这几条路线使用的材料不同:有的用推理过程,有的用奖励,有的用 token 级别的概率分布。但它们做的事情相似:让一部分原本需要人提供的监督信号,改由模型或自动系统产生。

这样做也带来风险。比如,答案由模型生成,答案好坏又由一个和它能力、偏见相近的模型判断,最后再拿这个判断结果训练模型,就可能形成“自己出题、自己判分、再拿自己的分数训练自己”的循环。一次错误如果没有被独立检查,可能被反复加强。

此外,奖励准确也不代表训练一定稳定。一些代码强化学习实验中,即使有明确的执行结果作为反馈,模型表现也可能先提升、后出现明显回落。KL 约束、EWC 等方法可以用来控制模型变化,但不能保证训练过程永远稳定。

2. Zero-data:题目也由系统自己生成

如果说 zero-label 是“人或外部数据提供问题,系统尽量自己产生学习信号”,那么 zero-data 则进一步尝试让系统自己生成问题或训练课程。

在这类方法中,一个角色负责出题,另一个角色负责解题。出题方根据解题方当前的能力调整题目;解题方变强之后,下一轮题目也随之变化。这就是常见的 self-play(自我博弈) 思路。

Absolute Zero、R-Zero 等研究探索了出题者和解题者共同迭代的做法;Agent0 则把类似思路扩展到需要使用工具的 Agent 任务中。它们的具体设计并不完全相同,但核心想法是:让系统尝试生成适合当前能力水平的练习任务。

这里的“zero-data”也要谨慎理解。它通常指不依赖预先准备的大量示范数据,并不意味着系统没有初始模型、规则、提示词、工具、验证器或计算资源。换句话说,系统可以自己“出题”,但出题和判分的基本规则往往仍由人设计。

这种方式把“下一步学什么”也交给了系统,但有两个常见风险:

  • 题目越来越单一:出题方可能只生成容易拿高分的题,课程逐渐变窄。
  • 奖励和真实能力脱节:系统学会了满足评分规则,却不一定学会了实际工作中真正需要的能力。

3. Auto Research:从自己出题到自己安排实验

再往前,系统不仅生成题目,还尝试参与研究流程:分析失败案例、提出假设、选择数据或训练方案、运行实验,再根据结果决定下一步做什么。

可以把这条发展方向概括成:

  • zero-label:尽量自己生成学习信号;
  • zero-data:进一步自己生成练习题和课程;
  • auto research:进一步参与制定改进方案和实验计划。

这类工作开始触及“下一步应该怎样改进模型”,但目前更多是在自动化研究流程中的部分环节,并不代表 AI 已经能够稳定、独立地完成科学研究。实验目标、评价标准和资源配置通常仍需要人参与。

三、共同难题:系统怎么知道自己真的变好了?

无论是改答案、更新参数,还是生成题目和训练信号,RSI 都绕不开同一个问题:

这次改动,真的让系统变好了吗? 负责回答这个问题的机制,通常叫 Verifier(验证器) ,也可以是测试、裁判模型、评分规则或人工评估。 在数学和代码等任务中,验证相对容易一些:可以检查答案、运行程序、执行单元测试。但这些办法也有局限。代码通过现有测试,不代表覆盖了所有边界情况;自动评分正确,也不代表题目完整体现了真实业务需求。 到了创意写作、开放式 Agent 任务,甚至研究方向选择,验证就难得多。除了“有没有做对”,还要判断结果是否有用、是否新颖、是否值得继续投入。这样的标准往往难以写成一个简单的分数。 因此,近期一些研究不只让 Agent 变强,也尝试改进验证器本身,例如训练更好的评估模型、更新研究任务的评分标准,或进一步评估评估器是否可靠。还有研究探索 Agent 和评估机制共同演化的做法。 这和“系统能根据解题者能力调整题目”并不是一回事。题目难度变了,不代表负责判分的机制也变得更准确。真正困难的是:验证器一边变化,怎样才能继续和真实目标保持一致?如果 Agent 和验证器一起偏离目标,系统可能会越来越擅长拿高分,却离实际需要越来越远。 因此,RSI 的闭环可以大致看成这样一条链: 答案 → 经验 → 学习信号 → 题目与课程 → 验证器 前面的环节主要是在减少人对“怎么学”和“学什么”的直接参与;当验证器也开始变化,系统才进一步触及“什么算进步”这个更难的问题。目前还没有一种成熟、通用的方法,能彻底解决 Agent 与验证器共同偏移的问题。

RSI 在实际工作中意味着什么?

RSI 并不是“把人从系统里拿掉”,而是尝试把人的工作从逐条检查答案,逐步转向设定目标、审核规则、监控结果和批准重要变更。

在实际团队中,更稳妥的做法通常是先让 AI 自动检查答案、运行测试或整理可复用经验;如果要更新模型、技能或代码,则先在隔离环境中测试,使用独立的验证集检查效果,并保留版本记录和回滚能力。涉及高风险业务或生产环境时,人工审批仍然十分重要。

从“改一条答案”到“改模型”,再到“改工作流程、自己出题,甚至调整评判标准”,RSI 探索的是一条逐步扩大自动化范围的路线。目前更现实的目标,不是让 AI 无限制地自我升级,而是让它在可检查、可追溯、可回滚的条件下,可靠地积累经验。