给 Agent 加上记忆、Skill、复盘和自我修改之后，团队经常会得到一种很熟悉的反馈。
“我的AI好像变强了！”
这句话可能是真的，也可能只是使用者的直观错觉。坏就坏在“好像”两个字上。甚至很多方案把大量状态写进上下文或文件以后，还可能导致 Agent 的表现变的更差。只靠几次主观的判断，很难分清 Agent 的能力到底是提升还是下降。
最近，看到了一个叫 LIFT 的开源评测框架，用实验数据来回答这个问题。它先让 Agent 做一批练习题，再把练习后留下的记忆、Skill 或代码改动装入新环境，和干净环境里的同一个 Agent 一起去完成未见过的任务。两份结果之间的差，就是 Agent 的进化机制带来的边际影响。
有意思的是，从 LIFT 给出的实验数据来看，盲目的给 Agent 添加反思、记忆等能力，并不一定会提高 Agent 的效率，反而有可能表现更差。
LIFT 到底是什么
LIFT 是一个开源的 Agent 自我进化评测框架。项目把任务分成练习阶段（warmup）和考试阶段（holdout）两部分。练习阶段用来让 Agent 做练习题，触发它原有的记忆、操作规则或自我修改机制。考试阶段则使用此前没见过的任务，用来检查练习阶段学习到的内容变化能不能迁移到新任务。
这里有一个容易混淆的点。LIFT 不回答某个 Agent 比另一个 Agent 强多少，它问的是加载进化产物之后，同一个 Agent 完成未见测试任务的成本有没有变化。项目 README 把轮数、工具调用次数和 token 消耗都列为可比较的成本指标。不同指标各自计算，不能把它们混成一个总分。
用考试打比方会好理解些。基础模型和 Agent 运行环境像一个学生原本会多少题。练习阶段像刷题。LIFT 关心的是练习留下的笔记、技能或程序改动，带到一张没见过的卷子时，能不能让他更省事地完成同一套验收要求。
一道任务怎样被验收
LIFT 的任务形式接近日常工作。旅游规划、信息收集、文档与内容任务都可以被组织成评测任务集。用户看到的是一条自然语言请求，评测端另外保留验收清单和过程要求。
图里的亲子行程题给出的请求并不长，但验收端有 12 条要求。天气信息、儿童友好安排、步行距离、行程时段和信息来源都在清单里。Agent 看不到清单，评审器会逐条检查结果。任务还要求检查执行轨迹，避免 Agent 在没有检索的情况下编造旅游信息。
这种设计把“行程好不好”拆成可核验的条件。它不能穷尽一份旅行方案的好坏，却能让两个实验组面对同一条及格线。对于评测来说，这一步很重要。若每次都是凭印象判一份方案是否更好，后面的轮数和 token 对比就没有可依附的标准。
两个环境怎样形成对照
LIFT 用容器保存练习阶段结束后的状态。它先从同一个基础镜像启动练习容器，Agent 在里面完成练习任务，记忆、文件、Skill 或代码改动都留在这个环境中。随后框架把这个状态保存为只包含变化部分的差异镜像。
接着出现两个测试容器。基线组（baseline）从干净的基础镜像启动。实验组（evolved）从带有差异镜像的环境启动。两边执行同一套未见测试任务，使用同样的验收规则和评审器。
这使“有没有加载进化产物”成为最主要的设计差异。它仍不意味着一次运行已经排除了随机性。模型采样、任务构成和运行环境都可能带来波动，所以 LIFT 通过重复运行和区间估计来呈现结果。读图时，点估计以外的横线同样重要。
项目把每个指标写成同一类相对变化。
impr_metric = (evolved - baseline) / baseline
结果为负，表示实验组在该指标上的成本更低。若轮数从五轮降到两轮，轮数变化就是负值。这个数字说的是达到任务验收条件的成本变化，不是对产出审美或业务价值的总评分。
排行榜给出的结果
下图使用的是 2026 年 8 月 23 日生成的一版排行榜。图中共有 11 个 Agent 运行环境与进化机制的组合。每个点是 10 轮实验的平均估计，横线是 95% 置信区间。横线完整落在零线左侧的行，被图表标记为绿色。
Hermes 的三个 D 组排在最前面，轮数变化分别为 −19.1%、−17.2% 和 −16.6%，对应的区间都在零线左侧。EvoScientist 的 active 变体标为 R，轮数变化为 −14.7%。EvoScientist 的 C 变体为 −14.3%。这五个组合在这版图中都显示出轮数下降。
其余六个组合的区间跨过零线。在实验中没有表现出足够稳定的轮数下降。比如 prime-agent 加入 active 机制后的点估计是 −3.3%，图中的区间仍跨过零线，说明存在一定的随机因素。
最有意思的发现：什么样的进化机制，才真的管用
排名本身其实没那么多看头，这份榜单真正的宝藏，是它顺手回答了开头那个悬念：五花八门的进化手段，到底哪种有效？
榜单按「练习题做完后，经验怎么被处理」把 11 个组合分成了三派：
- D 派（逐题提炼）：每做完一道题，立刻停下来做一次复盘，把这轮经验压缩成精炼的记忆/技能，再进下一题。像错题本——刷一道，消化一道。
- C 派（原样带走）：不做任何提炼，练习过程中写了什么（原始笔记、文件）就原样打包进快照，带进考场。堪称散装笔记，量大管饱，但囫囵吞枣。
- R 派（事后反思）：题都做完后，额外追加几轮专门的反思对话。类似考后补写反思日记。
结果相当悬殊：前三名被 D 派包圆，而且全部统计显著（轮数降 16.6%–19.1%）；C 派 5 个组合里 4 个沉在噪声区。刷题不复盘，等于白刷，老师当年说的话在 Agent 身上照样成立。
同时有意思的是，prime-agent 用了 D 派机制，效果却不显著（−3.3%）。看来如何复盘是个手艺活，不是走个形式就行。
还有个对照组级别的彩蛋：evoscientist 加了事后反思（R 派），成绩和裸版几乎一模一样（−14.7% 对 −14.3%）；genericagent 加了反思，也还在噪声里原地踏步。同一个 Agent，补不补「反思」这个能力，成绩几乎没差。可见盲目地给 Agent 补反思能力，并不一定会生效。
这把尺子量不到什么
LIFT 给质量设定的是验收地板。两个组都要通过同一份清单，框架再比较谁更快、更省 token 或更少调用工具。
地板之上的差异，它看得并不多。一个 Agent 可能用两轮交出刚好满足清单的行程，另一个 Agent 用五轮给出更细致的备选方案、风险提示和个性化安排。只要两者都通过验收，LIFT 的效率指标会偏向前者。
所以，LIFT 支持的结论是“加载某种进化产物后，Agent 在既定验收要求下可能更快收敛”。它不直接支持“产出质量上限提高了”，更谈不上证明 Agent 已经获得通用的自我进化能力。
这个边界没有削弱 LIFT 的价值。恰恰相反，它让一件常被混在一起讨论的事有了清楚的分工。效率评测可以看达到既定标准花了多少成本。质量评测还需要另一套更能区分深度、覆盖、偏好与业务后果的设计。
如果团队正在给 Agent 加记忆、Skill 或反思机制，可以先问一个朴素的问题。把这些状态拿掉以后，面对一批未见任务，完成同一套验收条件究竟多花了多少轮、多用了多少工具、消耗了多少 token。这个问题未必覆盖全部价值，却比“感觉变聪明了”更适合作为工程决策的起点。
项目官网：https://feizhuniu-infja.github.io/LIFT/leaderboard.html
