更多内容,请访问「**52ait.cn**」。
01 · Agent评测工具链大全:Promptfoo、DeepEval 与 LangSmith!
核心摘要:文章把Agent评测的执行方式分为手工、脚本、框架、平台四种,并按“评模型还是评应用”“框架还是平台”两刀分类介绍Promptfoo、DeepEval、RAGAS等工具,给出选型思路。
原文要点
- 四种评测执行方式各有适用边界。 原文把评测执行分为手工(对话页面+Excel)、写代码(requests+断言脚本)、工具框架(Promptfoo、DeepEval)、平台化(LangSmith、Langfuse)四种,并指出手工适合30条以内冷启动磨标准,脚本适合定制重或内网环境,框架适合自动化主力,平台适合团队协作与线上回流。
- 框架替团队包掉工程公共部分。 原文指出评测框架负责并发调模型、执行断言、结果存储、生成报告和CI接入,团队只需写测评集和断言/指标;声明式(Promptfoo)与代码式(DeepEval)两派按团队是否熟悉Python/pytest选择。
- Promptfoo以YAML声明式配置驱动评测与。 原文介绍Promptfoo是MIT协议、CLI优先的声明式工具,配置分prompts、providers、tests三块,内置规则类断言本地毫秒执行、llm-rubric交裁判模型,并提供redteam命令按内置策略生成攻击样本覆盖OWASP LLM Top 10。
- DeepEval把一条评测包装成pytest测试。 原文说明DeepEval用LLMTestCase记录输入与真实输出,配Metric打分(默认阈值0.5),assert_test低于阈值即失败;多数指标走LLM-as-a-Judge,少数确定性指标本地计算,指标库约60种,覆盖通用、RAG、Agentic、安全等。
- RAGAS拆分检索层与生成层分别打分。 原文介绍RAGAS用Faithfulness和Response Relevancy评生成层、Context Precision和Context Recall评检索层,采用LLM-as-a-Judge,不需要大量人工标注标准答案。
- 评模型与评应用是两类不同工具。 原文用第一刀区分评模型(OpenCompass、EvalScope,跑MMLU等公开基准)与评应用(Promptfoo、DeepEval、RAGAS,评提示词、RAG管道、Agent工作流),提醒拿评模型的工具评客服应用会对不上。
- 平台价值在跑评测之外。 原文指出平台解决数据集多人协作、Prompt版本对比、线上bad case回流和Agent链路追踪,这些是框架管不了的部分;平台也都能跑评测,但真正价值在链路追踪、资产管理和多人协作。
- 四种方式是叠加而非逐级攀爬。 原文强调四种执行方式可叠加使用:上了框架人工评审照做,上了平台框架照跑;唯一错误的顺序是测评集还没建明白就先搭平台。
借鉴与思考
可借鉴的方法
- 冷启动阶段先用30条以内题目在对话页面手工判一遍,把判定标准中的歧义磨掉,再决定是否上工具。
- 团队若以Python/pytest为主,可尝试DeepEval把评测写成test_文件接入CI;若以配置驱动为主,可尝试Promptfoo的YAML配置做模型并排对比。
- 评RAG应用时,可先用RAGAS的四个指标把检索层和生成层分开看,再决定问题出在召回还是生成。
- 需要做安全测试时,可尝试Promptfoo的redteam命令生成攻击样本,观察应用在越狱、提示注入等类别上的表现。
- 选型前先问“评的是模型裸能力还是我的应用”,避免拿公开基准工具评自家客服系统。
- 团队多人协作、需要线上bad case回流时,再考虑平台化;量小时不必先上平台。
适用边界
- 原文的star数与版本信息为2026年9月时点,会随时间变化。
- 工具对比主要基于作者经验与文档,未给出各工具在同一测评集上的横向实验数据。
- Promptfoo已加入OpenAI,但原文与README均说明其仍保持开源MIT协议。
验证问题
- 同一批测评集在Promptfoo与DeepEval上跑出的通过率是否一致?
- RAGAS四个指标在中文电商客服场景下与人工判断的一致率如何?
论文与代码
代码链接(原文提供):github.com/promptfoo/p…
02 · NUS开源 SO-Arena:首个决策模型的评测基准
核心摘要:新加坡国立大学等提出SO-Arena,用2,919个任务、11个领域评测一次前向出答案的System One模型,除能力分外还测选项重排稳定性和正确选项缺失识别,发现能力最强与可靠性最高并不重合。
原文要点
- System One模型一次前向输出候选答案概率。 原文说明System One模型给一段状态和问题,一次前向算出在所有候选答案上的概率分布,不写推理过程,适合路由、选工具、校验完成等需要确定选项加概率的决策;System Two先写推理再回答,慢但准。
- 基准按四条要求搭建。 论文要求参考标签能被模型可见输入支撑、难度递增能区分模型、既测单轮判断也测沙盒连续动作、选项被改动后判断仍稳;SO-Arena按这四条组织2,919个任务、11个领域、5个能力家族。
- 标签经过来源追溯与人工复核。 原文举例一条评论正文写“Fake product”但星级为5星,这类脏标签会让任何模型都不公平;SO-Arena只保留有来源且能被模型可见内容支撑的标签,参考标签与模型输入分开存放,模型生成的参考单独标记。
- 能力分领域等权且只取最难档。 能力分C对11个领域等权平均,避免题多的领域拉偏总分;分层领域只取最难档,数学取hard加very hard,使分数对难任务差异更敏感,代价是样本变少,任务完成校验最难档仅20题。
- 可靠性由顺序稳定性和缺失答案识别合成。 顺序稳定性S把同一题打乱成12种排列各问一次,按选项内容认答案,减去随机期望一致率;缺失答案识别N把正确选项抽掉,看模型是否对“没有正确答案”给出更高概率,用AUC折成N;两者几何平均得R,任一不大于0记0分。
- 开源最强与闭源参照差约10分。 21个模型中GPT-6 Sol 82.3、GPT-6 Luna 79.7领先;开源最高的GLiDE与KnowLine-31B均为70.2,之后掉到67.7;闭源决策接口Jev API 1.14为60.4、OpenAI Decisions为53.6。
- 能力第一的模型可靠性只排第七。 可靠性R前五是JevAny-27B 0.84、Jev API 1.14 0.83、Sieve-31B-v3 0.81、KnowLine-31B 0.81、Kev-27B 0.81;能力分第一的GLiDE R为0.78排第七,JevAny-27B能力分58.4排第八但R第一。
- 顺序不稳主要发生在答错的题上。 原文报告模型在答错的题上有25.7%的重排会改答案,答对的题只有4.3%;顺序稳定性大体跟能力走,而缺失答案识别与能力分关系弱,同一能力分附近N的散点能拉开很大一段。
- 差距集中在数学、科学推理和代码理解。 直接语义判断(知识常识、情感理解、检索重排)与Luna差距在6分以内;细粒度落地判断差距在4分以内,主要靠换大骨干;多步推导差距21到27分,数学最难档GLiDE 30分、Luna 97分,让模型思考后数学从50.8涨到92.5。
- 延迟从毫秒到秒级跨两个数量级。 1,109道单选静态题上,Laya 6.0毫秒、4B档25.2到60.9毫秒、27B档90.3到153毫秒、31B档177到265毫秒;会思考的StartLux Auto为3,084毫秒,分数58.6对不思考版59.0,总榜几乎无提升。
借鉴与思考
可借鉴的方法
- 若要把决策模型放进路由或工具选择环节,可先在自己的候选选项集上测一次选项重排一致性,观察答案是否随位置变化。
- 在需要模型判断“没有合适选项”的场景(如拒答、转人工),可单独构造抽掉正确选项的测试集,观察模型是否给出低置信。
- 选型时不要只看能力总分,可把顺序稳定性和缺失答案识别作为独立维度与能力分并列看。
- 对延迟敏感的场景,可优先看27B档中兼顾分数与毫秒级延迟的模型,而非直接选最大模型。
- 若任务以数学、代码等多步推导为主,System One模型可能明显落后,可考虑System Two或让模型思考。
适用边界
- 可靠性R只在带候选选项的静态选择题上算得出来,337条网页任务和282个工具回合没有R。
- 难度档只在同一领域内可比,不能拿安全题最难档比数学题最难档。
- 部分领域最难档样本少(如任务完成校验20题),单看该领域分会波动。
验证问题
- 在中文客服意图路由场景下,System One模型的顺序稳定性是否与英文基准一致?
- 缺失答案识别N低的模型,在实际拒答场景中误答率是否更高?
论文与代码
论文链接(原文提供):arxiv.org/abs/2611.15…
代码链接(原文提供):github.com/holdrain/SO…
03 · 京东 Agent 评测体系技术拆解:从 6 亿人的购物车里长出来的评测体系
核心摘要:文章拆解京东Agent评测体系六大模块,重点分析自建电商基准OxyEcomBench的三角色覆盖、视觉证据优先和诚实难度分级,以及评测指标如何直接翻译成GMV与转化率。
原文要点
- 评测指标从生意倒推成四层金字塔。 原文把京东指标分为业务层(GMV增量、转化率、渗透率)、体验层(满意度、转人工率)、应用层(意图识别、推荐准确率)、研发层(采纳率、提效、单测可用率),并给出京小智5.0内测满意度提升15%以上、转人工率降低28%以上等具体数字。
- 行为数据被当作持续评测信号。 原文介绍JoyCoder管理后台持续统计约1.2万研发的活跃度、采纳率、调用次数,用真实接受行为给模型打分,生成代码采纳率超35%、研发提效30%、单元测试生成可用率80%。
- 评估器优先用代码比对而非裁判模型。 原文指出京东零售数据资产团队的评测流水线核心思想是业务数据有天然标准答案,能用代码比对的绝不请裁判模型;1000+条问答批量调接口后离线代码自动比对,同一批样本多次调用评估稳定性。
- OxyEcomBench覆盖三角色与29项任务。 原文介绍OxyEcomBench约6300个实例、中英双语、数据来自真实电商平台并经专家验证,覆盖平台运营方、商家、顾客三类角色,六大能力域、29项细分任务,输入覆盖纯文本、单图、多图、单轮、多轮。
- 视觉证据优先用于防作弊。 原文说明评测集严格优先选取关键证据在图像里而非文本里的多模态案例,避免通用模型靠文本先验蒙对,考的才是多模态真实能力。
- 难度分级宁缺毋滥。 原文介绍P0到P3四档难度标尺只应用在能达成稳定专家共识的任务上,共识不稳定的任务不硬标难度。
- 自建基准同时是自家模型训练靶场。 原文指出OxyEcomBench首先是京东自研零售多模态基座OxygenVLM的训练靶场,基座依托该体系迭代后再落地京麦一键预填、AIGC素材质检、AI图搜、AI试衣四个场景,评测投入在同一笔资产上收回两次。
- NL2SQL四步兜底链把归因做成递降匹配。 原文介绍京东零售数据资产场景的NL2SQL按精确匹配、相似匹配(embedding)、别名索引、行为辅助四级递降,每级失败原因不同、修复动作各自明确。
- 安全红队沉淀200+攻击手法。 原文介绍大模型安全可信平台有超过200种自研红蓝对抗攻击手法,覆盖监管要求的全部31类风险类型,配套3万条人工审核恶意问题集,AI智能检测流三路综合研判识别准确率不低于95%。
- 运动员兼裁判的公信力靠三道对冲。 原文指出京东用方法全透明(任务体系、难度标尺、数据构建流程随论文放出)、第三方同测(20个外部模型同榜横评且不回避对自家叙事不利的结论)、数据可核验三道对冲来回应公信力质疑。
借鉴与思考
可借鉴的方法
- 业务有天然标准答案的场景(订单、库存、指标值),可优先用代码比对而非LLM裁判,把裁判预算留给开放性场景。
- 工具类Agent可把用户采纳率、活跃度、调用次数作为持续评测信号,用真实接受行为给模型打分。
- 垂直行业团队可尝试按真实业务分布采样建集,把最痛的场景做成任务,让自家模型当第一个考生。
- 多智能体系统可按角色分工边界做归因,把归因织进日常运营动线而非事后复盘报告。
- 评测结论尽量翻译成业务方听得懂的语言(转化率、GMV增量、渗透率),让评测进入决策。
- 自建基准若要对外,可先公开方法论并让外部模型同榜横评,不回避不利结论。
适用边界
- 文章为第三方拆解,京东没有一张公开的评测体系总览白皮书,部分模块映射是作者归纳。
- 文中GMV增量、满意度提升等数字来自京东对外宣传口径,未给出独立复现条件。
- 轨迹级指标(Pass@k、Progress Rate等)在京东体系中不唱主角,模型能力层主要靠信通院认证与通用基准兜底。
验证问题
- OxyEcomBench的P0-P3难度分级在跨模型横评中是否稳定复现?
- 行为数据(采纳率)与离线评测分数之间的相关性有多强?
04 · NeurIPS 2026 | EvoMemBench:Self-Evolving视角下Agent记忆何时有效,何时失效?
核心摘要:香港科技大学(广州)等提出EvoMemBench,沿任务内/跨任务与知识/执行两个维度组织六项评测,比较15种记忆方法与长上下文基线,发现没有一种记忆形式在所有设置下持续有效。
原文要点
- 用两个独立维度组织记忆需求。 原文用时间范围(任务内与跨任务)和内容(知识与执行)两个维度划分四类场景:任务内知识要保留事实并修订冲突,任务内执行要恢复对象参数与进度,跨任务知识要积累可复用知识,跨任务执行要把轨迹提炼为程序或策略。
- 把工具任务改造成显式依赖历史状态。 作者用GPT-5-mini辅助重构两个BFCL工具任务集,把前文已确定的对象改成可消歧指代,把有依赖的多动作拆成连续子轮次,标准动作序列不变;800条重构样本中780条直接接受、20条修正后接受,裁决前一致率96.9%。
- 统一读写接口并区分正常复用与冻结迁移。 框架提供utilize和update两个接口;正常跨任务评测允许后续任务继续积累记忆,迁移评测先在源环境构建记忆再冻结,在目标环境使用,分别衡量持续积累效果与源经验迁移效果。
- 六项评测共2,954个实例但不可混算。 六项评测来自不同任务协议:InEp-Know 1,200题、InEp-Exec 200题、CrossEp-Know 884题、CrossEp-Tool 200题、CrossEp-Web 270题、CrossEp-Emb 200题,不能直接混合成一个统一含义的准确率。
- 事实能找回不等于冲突能修订。 在两项FactConsolidation任务上,表中全部显式记忆方法都低于无记忆的DeepSeek-V3.2;BM25、Mem0、A-MEM在部分保留任务上超过同骨干基线,却没有把优势延伸到冲突修订。
- 执行任务小预算下记忆收益更明显。 16K、32K下最佳记忆方法分别比同骨干提高14.5、14.0个百分点,64K、128K下最大增幅为7.8、8.5个百分点;收益不随预算单调变化,64K由AWM领先、其余预算由ReasoningBank领先。
- 跨任务知识困难组受益、简单组受损。 简单组中最好的显式记忆方法只有50.0,低于基线52.1;困难组中ACE达到13.0而基线为0.0;难度由DeepSeek-V3.2基线成绩三等分划定,困难组首先表示对该骨干较难的背景。
- 不同执行领域适合不同记忆形式。 工具使用家族均值最好的是检索增强(5.43),网页搜索是通用长期记忆(5.38),ALFWorld是程序性长期记忆(5.60);但ALFWorld最佳单方法A-MEM属于通用长期记忆,不能简化成具身任务一定选程序记忆。
- 冻结迁移正负并存。 工具领域大部分组合正迁移,如ReasoningBank从交易迁到车辆控制提高42.0个百分点;具身环境正负并存,AgentKB从冷却与放置迁到加热与放置下降40.0个百分点,AWM在工具领域从车辆控制迁到交易下降24.0个百分点。
- 复杂记忆系统未自动获得更好性能成本组合。 原文报告任务内知识设置中复杂记忆系统并未自动获得更好的性能与推理词元消耗组合;长上下文基线Gemini-3-Flash在全部六个知识子集排名第一。
借鉴与思考
可借鉴的方法
- 若Agent需要跨轮维护参数和工具结果,可单独构造带隐式指代和顺序依赖的测试集,观察记忆是否真的恢复了状态。
- 评估记忆方法时,把事实保留与冲突修订分开报告,避免综合排名掩盖“能检索但不会修订”的问题。
- 上下文预算较小时(如16K、32K),记忆方法可能收益更明显;预算充足时可先对比长上下文基线再决定是否引入外部记忆。
- 跨任务经验迁移前,先在小规模源-目标组合上测正负迁移,不要假设同能力类别就自动兼容。
- 选择记忆形式时按领域分别看:知识密集场景可先试检索增强,执行任务可试程序性记忆,但需用单方法结果验证。
适用边界
- 六项评测来自不同任务协议,不能混合成统一准确率。
- 难度分组以DeepSeek-V3.2基线成绩划定,困难组表示对该骨干较难,不是独立于模型的任务难度标签。
- 并非全部15种记忆方法都进入每个子集,应以各表实际出现的方法为准。
验证问题
- 在中文长对话客服场景下,记忆方法的事实修订能力是否同样弱于保留能力?
- 冻结迁移的负迁移在更大规模源-目标组合中是否仍然普遍?
05 · 上海交大提出SelfImprove-Bench:用五级阶梯检验Agent自进化
核心摘要:上海交通大学等提出SelfImprove-Bench,用G0到G4五级泛化阶梯检验非训练式自进化Agent,发现18个方法-游戏组合中16个在同难度新题上正增益,但8个在旧题回放时退步。
图示:图3:SelfImprove-Bench总览。它支持(i)面向主要智能体能力的任务生成与编排,以支撑RSI改进,以及(ii)G0–G4泛化阶梯评测。(来源:arXiv 2611.02797)
原文要点
- 研究非训练式递归自我改进。 论文研究底层模型权重不变、更新发生在模型外部的自进化,把Agent拆成负责决策的模型和负责组织经验、调用工具、安排流程的Harness,对比ACE(改经验)、AHE(改执行框架)、HyperAgents(改代码仓库)三条路线。
- 五级阶梯每级只多问一件事。 G0旧题回放看保持能力,G1同难度新题看是否掌握同类办法,G2更难题目看难度外推,G3同能力类别新游戏看跨任务迁移,G4跨能力类别看更远迁移;五级需分别实测,某一级变好说明不了其他级。
- 练习与考试隔离。 每轮普通任务结束后各方法根据反馈修改工作区,不能直接翻阅基准内部模块或读取评测实例;候选框架先放回当前练习实例验证再决定是否保留,留出测试任务不参与候选筛选。
- HCI衡量补上了多少差距而非准确率。 HCI=(改进后平均分-初始平均分)÷(参考分-初始平均分),正值表示进步、负值表示退步、100%表示抵达参考分;参考分不一定是理论满分,Farm和Combat用组级最高得分,其余四个游戏用1。
- 新题普遍有收益但旧题未必保得住。 G1中18个组合有16个正增益,G0中却有8个组合低于旧题首次执行时的历史表现;AHE在Minecraft上同难度留出任务从0.505升到0.720,旧题回放却从0.903降到0.728。
- 更难的题会改写方法排名。 Farm的G1上HyperAgents从1.048升到1.179、HCI为100%,AHE从1.105降到1.080、HCI为-33.8%;但更难Farm测试AHE最终1.069仍高于HyperAgents的0.942,最终谁更强与谁从自我改进中获益更多是两个问题。
- 同类迁移有方向且不对称。 从Hero迁移到Sweepmine,ACE、AHE、HyperAgents的HCI分别为11.5%、19.8%、19.4%全部为正;反过来从Sweepmine迁移到Hero,三种方法分别为-3.0%、-2.2%、-1.7%全部为负。
- 跨能力迁移8个方向中5个正增益。 G4只报告HyperAgents结果,8个迁移方向中5个HCI为正,其中Farm到Sweepmine、Farm到Hero、Combat到Hero都超过了直接在目标游戏上改进的Agent。
- 允许修改自己不等于真的修改了改进器。 主实验最终快照保留915条修改主张,87.9%落在提示与记忆、12.1%落在执行框架,没有保留针对改进器本身的意见;HyperAgents在Hero上的记录重复率达67.6%,AHE为46.1%,ACE为12.8%。
- 真正动到改进器后得分变化。 HyperDSH在Combat同难度留出任务上,原始DeepSeek Harness得分0.751,三种允许改进器自演化的配置分别达1.274、0.941、1.326,最终保留的修改主张中20.5%到45.2%针对改进器本身;该差异只在Combat一个游戏上验证。
借鉴与思考
可借鉴的方法
- 评估自进化Agent时,除新题分数外,可加一组旧题回放,观察改进后是否破坏原有表现。
- 把泛化拆成同难度新题、更难题目、同能力新游戏、跨能力新游戏分别测,不要用单一上升曲线代替全部结论。
- 若团队做记忆或提示词自更新,可记录每轮修改并分类到提示/记忆、执行框架、改进器三层,观察修改实际落在哪一层。
- 跨任务迁移前先测方向性:A帮得上B不意味着B帮得上A,可先做小规模双向对照。
- 练习题难度安排会影响结果,可尝试随机、混合、递增几种安排,观察对难题与中等题的不同影响。
适用边界
- 主表没有给出多次独立运行的误差范围,分数接近时难以判断谁能稳定领先。
- 主实验统一使用GPT-5.6 Sol,但各方法有各自初始框架,比较时既看最终得分也看相对各自起点的变化。
- HyperDSH改进器自演化的差异只在Combat一个游戏上验证。
验证问题
- 旧题回放退步在更多轮次后是否会继续扩大?
- 改进器自演化的收益在Combat之外的其他游戏上是否复现?
论文与代码
论文链接(原文提供):arxiv.org/abs/2611.02…
代码链接(原文提供):github.com/theseus-lab…
更多内容,请访问「**52ait.cn**」。
知流 · 让好内容值得被看见