基于阿里云 AgentLoop 构建 Agent 进化数据飞轮闭环,让线上 Trace 沉淀为可复用经验

0 阅读13分钟

作者:宋明强、黄耿铿

本文最佳实践整理来自阿里云 AgentCore 企业智能体构建与治理沙龙·广州站分享议题《基于阿里云 AgentCore X AgentLoop,无限极灵知 Agent 持续改进及自进化实践》,分享作者:**宋明强、黄耿铿(无限极 Agent 工程师)。

客户背景:近 7000 家门店背后的一线 AI 助手

无限极(中国)有限公司是李锦记集团及无限极全球旗下成员,成立于 1992 年,总部位于广州,聚焦中草药健康产品,覆盖健康食品、美妆、家居用品三大品类,旗下拥有养固健等九个品牌,超过 200 款产品。目前,无限极在全国设有 30 家分公司、27 家体验中心和近 7000 家门店,在广东新会、辽宁营口建有两大生产基地,并建立了 70 多个中草药种植基地,实现种植、研发、生产、检测、销售、服务全程可追溯。

门店一线伙伴每天要处理大量产品咨询、顾客跟进和团队经营工作。为此,无限极在 App 中推出 AI 助手“灵知”Agent,名称取自灵芝仙草。灵知依托养生、产品、经营三类专属知识库,服务四类典型场景:找素材,一句话找到产品资料、养生理念相关素材与课程,例如“有没有讲免疫的课”;讲话术,围绕销售话术、顾客跟进和社群运营直接给出可用的成稿,例如“给老客户写段回访”;带团队,在组织经营与团队辅导上给出具体动作,例如“新人第一个月怎么带”;办业务,用户说出查数据、办业务、建邀请函等需求,即可直达对应入口,例如“这个月我的业绩”。

这些问题最终都落在门店里具体的用户身上,对话每天都在产生:回答得好,用户很少留下评价,回答得差,往往也只是一句抱怨。如何从日常对话中持续识别问题、沉淀经验,让灵知越用越好,成为无限极在 Agent 上线之后的建设重点。

业务挑战:Agent 上线之后,能力不会自动变强

Agent 上线只是起点。在灵知的运营过程中,团队逐渐意识到,缺的并不是数据,而是让数据变成经验的链路。

首先,Trace 停留在观测系统里。 每次应答的完整 DAG 都已经采集到了,但实际被关注的主要是耗时。没有抽取、清洗、评估的加工链路,Trace 本质上仍然只是一份日志。

其次,bad case 依赖人工翻查。 缺少基于评测阈值的筛选,标注就只能全量铺开,人力成本高、覆盖面窄;标注完成的结论分散在不同表格中,也回不到数据集。

第三,优化结论停留在个人经验里。 修改 Prompt 时的判断依据没有被结构化、没有入库,换个人接手,只能重新排查一遍同样的问题。

此外,用户反馈与运行链路之间也存在断点。一条“这个回答不好”的反馈,如果对不上当时检索了什么、调用了哪个工具,就很难转化为可分析的样本。要让数据真正流动起来,需要同时解决链路加工、信号关联、人工把关和经验沉淀四个问题。

方案实践:以 AgentLoop 串起七个环节与两处交接

阿里云 AgentLoop 是面向企业 Agent 的观测、评估与持续优化平台,围绕运行数据的采集、处理、评估与经验沉淀,帮助企业把 Agent 的线上表现转化为可执行的改进依据,让 Agent 在生产环境中形成可观测、可评估、可优化的持续进化飞轮。

无限极将数据闭环拆分为七个环节:可观测接入、观测数据处理、数据评估、人工标注、数据回流、经验挖掘和经验接入。在分工上,AgentLoop 负责数据的加工与经验生产;无限极自建的知识运营系统“灵枢”负责需要人来把关的标注与审核。

图片

▍数据采集、处理及评估:让数据自己走到可评估

前三个环节由 AgentLoop 平台自动完成,目标是让原始数据不依赖人工即可进入可评估状态。

在可观测接入环节,应用通过 SDK 与探针无侵入上报运行数据,按应用、会话、请求三个维度归集。trace_id 贯穿一次应答的完整 DAG,节点、工具调用以及输入输出均被保留,多应用、多环境统一上报,产出原始 Trace。

在观测数据处理环节,基于数据处理管线按天、小时、分钟三档粒度周期调度任务,以离线批处理为主、兼顾准实时,对 Trace 依次进行抽取、脱敏、去重和字段标准化,并剔除异常样本。清洗规则可插拔、可追溯,产出清洗后的样本。

在评估环节,平台提供内置评估器,同时支持自定义 Agent Judge 评估器,按场景选择准确性、相关性、安全性、工具调用正确性等维度打分。评估的分数、理由和评估过程三者一并落库,评估流程可回溯,分数可解释。

这一点在后续环节尤为关键:如果只有分数而没有过程,标注人员就需要把同样的判断重做一遍,标注成本会成倍增加。

图片

用户反馈样本:先让反馈找得到对应的 Trace

用户反馈是最直接的质量信号,前提是它能准确关联到那一次运行。无限极在落地中重点处理了三个问题。

一是反馈挂在哪一层。前端反馈挂在消息粒度上,而不是会话粒度,一条回答对应一个 id。一次会话中往往只有一条回答出了问题,按会话记录会把问题稀释掉。

二是通过 id 换回什么。借助这个 id,可以换回整条运行 DAG。否则,反馈只是一句“这条不好”,无法对应当时检索了哪些内容、调用了哪个工具。

三是谁先被评估。同样是待评估样本,被用户点踩的样本优先计算,不必等全量批处理跑完才能看到。负面反馈样本优先进入评估,评估分数低于阈值后转入人工标注;负面反馈集中的场景,会优先排进本周的评估批次。正面反馈样本中评分较高的,则作为正样本进入经验挖掘。经验挖掘需要好坏对照,带用户反馈的正样本,比随机抽取“看起来不错”的样本更可信。

图片

业务属性染色:让每条 Span 都能被业务 message_id 反查

要让用户反馈与 Trace 关联,业务 message_id 必须写进链路中的每一个 Span。实践中,这一步遇到了两个具体问题。

第一个问题来自字段映射。阿里云 ARMS 探针会将 LangChain metadata 中的约定字段映射为 OpenTelemetry GenAI 语义属性,例如 user_id 映射为 gen_ai.user.id,thread_id 映射为 gen_ai.session.id;user_id、session_id 这两个属性会被自动透传到链路内所有子 Span 的 attributes 中,无需额外配置。对于 user_id、session_id 之外的任意自定义业务属性,业务自定义的 message_id ,需通过通过设置当前上下文的 Baggage,将其透传到链路内所有 Span 的 attributes 中。

第二个问题来自时序。根 Span 由探针在业务 handler 执行之前创建,业务代码中设置的上下文只能覆盖之后创建的 Span,根节点会被遗漏。因此,根节点和子 Span 需要两套手段,且覆盖区间互不重叠。

无限极为此设计了两条通路。通路 A 面向根节点:在请求入口直接写入当前活跃 Span,为 server span 补上 message_id。通路 B 面向子 Span:在入口写入一次 Baggage,再通过自定义 SpanProcessor 在 on_start 阶段让之后创建的每个 Span 继承该值,覆盖 AGENT、STEP、TOOL、LLM 等各类 Span。

图片

方案上线后,在线上真实 Span 中,请求根节点已带上 message_id,其值与业务侧对应对话的 id 完全一致,反查入口由此成立;otel.scope.name 指向探针插件,说明该字段由运行时自动注入,而不是在业务代码中逐处手动写入。Trace、对话、评估结果、标注样本分布在四个系统中,message_id 是它们之间唯一的共同键。

评估:分数由规则计算,而不是凭感觉给出

在评估环节,无限极为灵知配置了自定义评估器,从规范、完整、忠实、无幻觉四个维度加权得出一个分数:分数越高,代表回答越规范、越完整、越忠实于已获得的证据、幻觉越少,而不是“看着不错就给 0.9”。

评估器的输入是整条运行链路,输入字段里有 trace_id、turn_index、系统提示词、命中的技能等,不是一句 query 配一句回答,使评估器能够判断回答是否忠实于本轮实际获得的证据。

判评规则以配置的形式管理,而不是写在代码里。调整规则无需发版,但每一个版本都会保留,以便在回看历史评估结果时,能解释当时的分数依据。

图片

自定义 Agent Judge 评估器的判评规则配置(节选)

▍标注:只标该标的样本

人工标注环节由无限极灵枢系统承担。评估分数低于阈值的 bad case 进入标注队列,高于阈值的 good case 直接作为正样本,标注量由评估分数阈值决定,而不由人力决定。

标注结论本身也要接受抽检。一条错标会沿着数据集影响后续每一个环节:经验挖掘可能学错,评估器校准也可能出现偏差,抽检是这一环节的关键止损点。

同时,人工结论被视为评估器的“地面真值”。阈值附近的样本判对了,评估器才有依据进一步调整;如果判错了,往往说明评估维度的定义本身需要修正。这一层反馈,比增加一个评估器更能提升评估质量。

图片

▍数据回流:把“交回来”写成契约

标注完成后,灵枢将已标注数据回传至 AgentLoop 数据集,这是两处跨平台交接中的第一处。为保证闭环稳定运行,双方围绕四项内容形成约定。

在字段规范上,每条回传样本须包含样本内容、评估分数、人工标注结论、标注人和标注时间,缺少任一字段,样本就无法追溯。在周期对齐上,回传周期与数据处理周期保持一致,按天、小时或分钟执行,批次编号随周期生成,禁止跨周期拼接。在版本对应上,标注批次与数据集版本一一对应,任何一批数据都可以回滚到当时的标注状态与评估口径。在阈值口径上,good 与 bad 的分界线由双方共同定义并版本化,不允许两侧各自维护一套标准。

图片

▍经验挖掘:从好坏对比中提炼经验

经验挖掘环节的核心方法,是在评估出来的 bad case/good case 对比里长出来的。前者进入标注队列由人工修正,后者作为正样本基线回传。

通过对比归纳,挖掘出的不是一句总结,而是四类可复用的经验:Prompt 优化点,即哪一句指令让模型跑偏、改成什么会更准确,落到指令模板的版本迭代中;典型失败模式,即同类错误反复出现的触发条件与前置信号,落到评估器规则与告警阈值中;工具调用范式,即正确的调用顺序、依赖链以及失败回退路径,落到工具示例与 few-shot 中;业务 SOP,即业务方真实的处理流程与判断依据,落到知识库条目与检索策略中。

经验必须结构化、可检索、可追溯来源,否则只是又一次口头传授。为此,AgentLoop 将经验挖掘拆分为四步:接入轨迹,将真实运行数据接入轨迹库,确认数据源与应用范围;开启挖掘,配置起始时间和应用,开启挖掘并查看进度;确认经验,检查经验内容与证据,标注正确性与适用场景,再决定是否启用;接入召回,通过 API 或 SDK 在运行时检索经验,并在调试中验证命中后的实际调用效果。

在这一环节中,双方的职责同样清晰:轨迹从哪里来、按什么口径清洗、挖掘到什么粒度,由无限极确定;谁确认的、是哪一版、是否已启用,则在平台侧留痕。

图片

▍经验接入:一道必须存在的人工闸门

经验接入是第二处跨平台交接,由灵枢系统分四步完成。

  • 第一步,拉取经验: 灵枢通过经验搜索 API 从 AgentLoop 拉取经验条目,先落入待审队列,待审队列不对外可见。
  • 第二步,人工审核: 审核人员逐条确认经验是否正确、可用、无业务风险,未通过的经验不得入库,也不得对外发布。
  • 第三步,审核入库: 只有审核通过的经验才会写入灵枢经验库,并记录审核人与审核时间。
  • 第四步,MCP 发布: 枢将经验库封装为标准 MCP Server,以统一的工具名与参数 schema 供内部 Agent 运行时调用,且只暴露已审核的经验。

对于未通过审核的经验,灵枢会连同驳回原因一起回传 AgentLoop,用于改进经验挖掘的策略,并校准人工标注的口径。AI 产出的经验,人工确认这一步不能省略,这是保证“经验可信”的控制点。

图片

实践心得:三个踩过才确信的判断

在构建智能体数据飞轮闭环的过程中,无限极团队总结了三点实践心得。

第一,先建加工链路,再谈数据资产。 原始 Trace 本身不是资产,经过清洗、评估并带有人工结论的样本才是。没有加工链路,数据采集得越多,存储成本越高。

第二,责任边界按“谁在生产这份数据数据”来划分。 标注与审核放在最了解业务后果的一侧,而不是最方便写代码的一侧。如果放错了位置,闸门就只剩下流程,失去了判断。

第三,闸门放在经验出口,而不是数据入口。 入口卡得太严,数据进不来,闭环就无法启动;在出口把关,才能保证下发给 Agent 的每一条经验都是可信的。

结语:数据闭环的终点,是下一个更好的应答

总结以上无限极灵知 Agent 持续改进及自进化实践,通过可观测接入 → 数据处理 → 数据评估 → 人工标注 → 数据回流 → 经验挖掘 → 经验接入数据闭环,把线上 Trace 变成可复用的经验。