从 50ms 到 3 分钟:淘特动线 Agent 如何把 LLM 塞进一个有预算约束的实时系统

0 阅读29分钟

参考来源:《动线Agent:AI驱动的全链路用户转化引导》 作者:山泽,淘天集团 - 淘特用户技术团队

一、先说结论:真正的价值不在那三个 Agent

淘特这篇动线 Agent 的文章,如果只看摘要,很容易被归到"又一个电商 AI 营销系统"这一类——三个 Agent、覆盖三个时机、涨了多少 GMV。这类文章我读过不少,多数停在"我们做了个很酷的东西,效果不错"。

但这篇不一样。它把一个更硬的问题摆在了台面上:

当 LLM 要进入一个有硬约束的实时业务系统——预算有上限、费比有红线、延迟只有 200ms、发了就不能撤回——工程上到底该怎么搭?

这个问题跟"让模型写出一段漂亮的营销文案"完全不是一回事。它包含三个子问题,每一个都能让项目死掉:

  1. 怎么让 LLM 的输出受确定性约束? 模型判断"这个用户很想要",不代表可以给他发 50 块红包。
  2. 怎么证明机器比人做得好? 不是拿几个漂亮 case 讲故事,而是要有统计上站得住的实验设计。
  3. 怎么让系统自己变好? 靠人每天调参的系统,规模一上去就崩。

我认为这篇文章真正的贡献,是这三个问题的答案,而不是那三个 Agent 本身。三个 Agent 只是答案的载体。

下面我按自己的理解重新拆一遍,最后给出我认为可以迁移到其他场景的六条原则,以及四处我保留意见的地方。

动线 Agent 系统架构:三端智能体 + 共享数据基础设施 + 反馈回路

图:动线 Agent 的整体架构。三个 Agent 分别挂在进端/在端/离端三个时机上,底下是一层共享数据基础设施(用户画像、行为序列、购买记录、AB 实验平台、LLM 推理引擎),右侧一条虚线是效果回流。图片来源:淘天集团淘特用户技术团队

二、动线不是漏斗,是一台状态机

传统电商增长模型是漏斗:曝光 → 点击 → 商详 → 加购 → 下单,每一层算转化率,哪层漏得多就补哪层。

漏斗模型有个隐含假设:用户是沿一条直线往前走的,只是会在某一层卡住。

真实的购物行为根本不是这样。原文那句话说得很准:

打开 APP → 搜索商品 → 比较几款 → ... → 返回搜索 → 再看商详 → ... → 犹豫 → 暂时离开 → 跨 APP 对比 → ... → 可能再次回来。

这不是漏斗,这是状态在反复迁移。用户可能今天放弃、明天回来、后天又在别的平台比价。漏斗模型看不到"离开之后"发生了什么,而这恰恰是信息量最大的时段。

所以动线 Agent 的第一个设计决策,是把用户建模成一台有状态机:当前处于什么状态、状态在往哪个方向漂移、漂移速度多快。而不是一个"转化率分子/分母"。

这个视角切换带来一个直接后果:干预的时机比干预的内容更重要。同一个 8 元红包,在用户热情峰值时发是锦上添花,在热情衰减到临界点时发是雪中送炭,在用户刚打开 App 时发则纯属浪费预算。原文反复强调的"是否在用户热情真正衰减的时刻发",本质就是在说这件事。

三、三个 Agent 的划分依据,不是场景

表面看,三个 Agent 是按"进端/在端/离端"三个场景切的。但场景只是表象。

原文给了一张对照表,我把它重新整理一下,会发现三个维度在同时变化:

维度进端 TensorLift在端 PeiAgent离端 DeepFlow
时间预算< 50ms200ms 感知 / 秒级干预秒级到分钟级
信息完备度人群统计特征当前会话行为流完整历史行为序列
决策空间人群网格 × 权益策略是否干预 + 锚点 + 面额召回与否 + 选品 + 定价 + 文案
问题形态组合优化时机判断深度归因

这三个维度是互相制约的,不是自由组合:

  • 时间只有 50ms,就不可能做多步推理,只能查表 → 所以进端必须在后台把策略算好,在线只做命中
  • 信息只有当前会话,就不可能知道用户的历史偏好 → 所以只能判断"此刻热情是否衰减",不能判断"这个人长期想要什么"
  • 决策空间有三个子问题(召回/选品/文案),就不可能塞进一次调用 → 所以必须拆成三轮 Chain

我理解这套设计的精髓在于:不是"三个场景配三个方案",而是同一套能力在三个时间尺度上的投影。 时间尺度决定了你能投入多少算力,算力决定了你能用多完备的信息,信息决定了你能做多复杂的决策。

这个逻辑反过来也成立:如果你要在别的场景做类似系统,先问"我的决策允许多少延迟",答案会直接决定架构,而不是先想"我要做几个 Agent"。

四、进端:把"运营"改造成"寻优问题"

进端要解决的是:用户打开 App 的那一瞬间,给他看什么、给什么权益。

传统做法是运营拍脑袋:圈一批人(比如"30 天未购的女性用户"),配一个权益(比如"满 99 减 10"),跑 AB 看效果,好的留下。

这套做法的问题是它不可规模化。人群维度一多(人口统计 × 购买力 × 品类偏好 × 生命周期),组合就爆炸了,运营根本圈不过来。而且每次调整都是人肉试错,一天只能试几个方案。

TensorLiftAgent 的改造思路是:把这件事从"运营决策"变成"在网格上做组合优化"。

4.1 张量分解:人群从"标签"变成"网格"

做法是先把用户的多维特征构成一个张量,做张量分解,再把分解结果切成 M × N 的网格人群。

张量分解在推荐系统里是老技术(本质是把高维稀疏的"用户-物品-上下文"张量分解成低秩因子,用来做 CTR 预估)。但把它用在"人群切分"上,我认为是个很聪明的挪用:

  • 标签圈人得到的是离散的、互相重叠的集合("高购买力"和"价格敏感"可能同时命中一个人,但你不知道这个交集有多大)
  • 张量分解得到的是正交的、可枚举的网格(每个格子是一个独立的人群单元,互斥且完备)

只有变成可枚举的网格,才谈得上"给每个网格单独定价",也才谈得上"整桶优化"。这是后续所有优化的前提。

4.2 三层 Loop:一台会自己判卷的机器

这是我认为全文最值得反复读的设计。

TensorLiftAgent 多层 Loop 寻优:内层质检、中层回测、外层天级回收

图:三层循环结构。① 内层循环是单步产物的质检重做,② 中层循环是回测不过打回重做,③ 外层循环是天级调度 + 真实 AB 数据回收诊断。所有过程与经验沉淀在 Memory Engine 跨天复用。图片来源:淘天集团淘特用户技术团队

一条日常流水线是这样跑的:

调度器每天拉起 → 规划看昨天的成绩和历史记忆,决定今天主攻方向 → 张量下钻把人群切网格 → 定价给每个网格出价 → 回测当考官判卷 → 通过才投放 → 第二天回收诊断拿真实 AB 数据批改 → 结论喂给次日规划。

三个循环分别在不同层级上兜底:

  • 内层(质检):每个环节的产物先自检,不合格原地重做。这是最便宜的一道门,防止明显错误流到下游。
  • 中层(回测):整桶提案拿去回测,不过关打回重做。这是"模拟考",比真实投放便宜得多。
  • 外层(天级回收):真实 AB 数据回来批改。这是唯一有"真相"的一层,但最贵、最慢。

我的理解是,这个结构和 AutoML 的"代理模型 + 真实评估"是同一个思想,只是把搜索空间从"超参数"换成了"人群网格 × 价格"。三层循环的成本递增、可信度也递增,形成一道漏斗:便宜的手段先筛掉大部分错误,只有少数候选能进入最贵的那一层。

还有个细节值得单独拎出来:Memory Engine 跨天复用。

这不是普通的 Agent 记忆(存对话上下文),而是存策略经验——"昨天往哪个方向调有效、哪个网格调了没用、哪类提案被回测打回过"。这让系统具备了"跨天的先验",而不是每天从零开始。

我认为这是 Agent 记忆最务实的一种用法:不存"我说过什么",存"我试过什么、结果如何"。后者才是能指导决策的。

4.3 四桶实验:为什么基线必须是 SOTA 而不是空桶

这一段是我认为全文最被低估的部分,也是最难被复刻的部分。

实验流量这样切:

四桶实验策略:空桶 5%、运营桶 75%、探索桶 5%×3、SOTA 桶 5%

图:四桶流量切分。空桶 5% 保留自然成交基准,运营桶 75% 承接大盘流量,三个探索桶各 5% 并行探索新候选,SOTA 桶 5% 承接胜出策略。图片来源:淘天集团淘特用户技术团队

四种桶各有明确职责:

  • 空桶(5%):不做任何干预,保留自然成交。用来算绝对增量和增量 ROI。
  • 运营桶(75%):承接既有人工/业务策略。提供"不劣于人工"的底线参照。
  • 探索桶(5% × 3):在受控流量里验证新候选,三个桶完全并行、地位对等,各自探索一条当日新生成的候选策略。
  • SOTA 桶(5%):承接已经验证过的较优方案,是后续挑战的对象。

关键问题来了:为什么新策略要跟 SOTA 比,而不是跟空桶比?

原文这句话我认为值得抄在笔记本上:

与空桶对照只能回答「做了比不做好吗」,与 SOTA 对照才能回答「新策略比当前最好的策略更好吗」——只有后者能保证 SOTA 桶单调变优。

这是个很硬的统计设计洞察。

大多数团队的 AB 实验永远在跟"不做"比,结果是:系统跑了一年,每次实验都显著正向,但基线本身没怎么涨——因为所有实验都在证明"干预有效",而不是"新干预比旧干预更好"。

用 SOTA 桶做基线,形成的是棘轮效应:新策略必须打赢当前最好的自己才能上位,打不赢就淘汰。这样基线只会单调上升,不会回退。

这个设计可以迁移到任何"持续优化的系统":你的对照基线应该是你历史最好的自己,而不是"什么都不做"。 空桶的价值在数仓口径(算绝对增量),不在优化目标。

4.4 帕累托前沿:AI 真的赢了吗

寻优跑了一段时间后,团队在"访购率提升 × AB 增量 ROI"这个二维平面上画出了各桶的轨迹:

帕累托寻优轨迹:SOTA 桶与探索桶构成前沿,中控桶处于前沿内侧

图:帕累托寻优轨迹。绿点为探索桶单日观测,蓝点为 SOTA 桶,灰点为中控桶。红色外环代表桶均值。红色阴影区是被支配区域。图片来源:淘天集团淘特用户技术团队

图上三个桶的均值:

桶增量 ROI访购率提升
SOTA 桶4.5745.9%
探索桶3.9353.2%
中控桶(人工)3.5150.8%

结论:中控桶被探索桶支配——提升幅度相近(50.8% vs 53.2%),但 ROI 明显更低(3.51 vs 3.93)。在帕累托意义上,人工中控被 AI 寻优支配了。

而且前沿的两端分工很清晰:SOTA 桶守在高 ROI 端(效率优先),探索桶冲到高提升端(激进探索)。这正是四桶设计的意图——用两个角色分别占据前沿的两端,而不是期待一个策略同时最优。

我要给这个结论加两个限定,因为原文自己也加了:

  1. "本期指定人群及指标口径下" —— 单期数据、指定口径,不能直接外推成"AI 全面超越人工"。
  2. 策略空间是人工定义的 —— 网格特征、权益类型、价格档位都是人设计的,AI 优化的是组合,不是发现新的可能性。这个边界很重要。

但即便如此,"AI 在给定空间内的组合优化能力超过人工中控"这个结论,我认为是站得住的,而且方法论上很干净——用帕累托支配关系而不是单一指标对比,这是对的做法。

五、在端:把 200ms 拆成两半

进端是"人还没进来时就把策略准备好",在端是"人已经在里面了,得当场做决定"。后者难在延迟。

5.1 PEI:从"有没有意图"到"热情还剩多少"

传统做法是意图识别:判断这个用户"有购买意图"还是"没有"。这是个二分类问题。

但意图不是布尔值,是随时间变化的连续量。同一分钟内,用户可能从"很想要"滑到"算了"。

PEI(Purchase Enthusiasm Index,购物热情指数)就是把这个连续量显式建模出来:

PEI 购物热情指数曲线:从搜索起点到加购峰值再到衰减触发干预

图:PEI 曲线示意。起点搜索耳机 100 分,浏览 20 个商品不点击降到 85,点击查看 +8 回到 93,加购 +20 冲到峰值 113,之后浏览不点击 98、换词搜 88、进商详 3 秒退出 -12 到 76、回退首页 -20 到 56 触发干预。图片来源:淘天集团淘特用户技术团队

几个设计细节值得注意:

  • 有正有负:搜索、点击、深度浏览、加购是加分项;无点击浏览、频繁换词、商详浅出、回退首页是减分项。
  • 记峰值和轨迹:不只记当前值,还记历史峰值和衰减速度。同样跌到 60 分,"从 113 缓慢滑下来"和"从 93 断崖式下跌"含义完全不同。
  • 阈值个性化:触发点不是全局固定值,而是按用户个性化设定的。

我理解 PEI 的本质是把"用户耐心"这个模糊概念变成了一个可观测、可计算、可触发的信号。它不追求精确预测"用户会不会买",只追求"现在是不是一个该出手的时机"。

这个降级很重要——预测"会不会买"是个很难且容易错的任务,判断"热情是否在快速衰减"则容易得多、也鲁棒得多。

5.2 端云协同:一次计算下推

PEI 的计算放在端上,策略生成放在云上。原文给的理由很干脆:

层职责为什么放这里
App 端PEI 实时计算 + 决定是否干预行为事件在端上产生,端上算分免去网络往返,才能压进 < 200ms;同时避免把全量行为流水实时上抛
服务端意图推理 + 生成干预策略需要聚合画像、历史记录、权益库存、成本约束,只有服务端有全量上下文

这个拆分让我想到数据库的谓词下推:能在数据产生地算完的,就不要把数据搬走再算。这里有两个收益——延迟(省掉一次网络往返)和带宽/隐私(不用把全量行为流水实时上传)。

值得注意的是这个划分不是"端上做简单的事、云上做复杂的事"这种笼统说法,而是按"信息在哪里"划分:PEI 需要的信息(当前会话行为)在端上,所以端上算;策略生成需要的信息(画像、库存、预算)在云上,所以云上算。信息在哪,计算就在哪。

5.3 六大护栏:LLM 做语义,代码做算术

这是我认为全文工程价值最高的一段。

先看服务端的决策顺序:

服务端决策顺序:LLM 语义判断在前,代码确定性计算与护栏在后

图:服务端六步决策顺序。步骤 1-2 由 LLM 做语义判断(是否需要干预、商品意图锚点),步骤 3-6 由代码做确定性计算(门槛、费比、面额、护栏校验)。图片来源:淘天集团淘特用户技术团队

六步拆开看,分工极其清晰:

步骤谁做做什么
1LLM(语义)判断是否需要干预(基于流失风险信号)
2LLM(语义)从行为序列识别商品意图锚点
3代码(确定性)根据商品到手价确定门槛
4代码(确定性)根据用户价格敏感度确定费比
5代码(确定性)计算面额
6代码(确定性)执行护栏校验

面额的计算公式是关键:

face = threshold(price) × fee_ratio(sensitivity)

面额不是 LLM 拍出来的,是价格和敏感度两个确定性输入算出来的。 LLM 只贡献两件事:要不要干预、锚哪个商品。

再看六道护栏:

六大护栏条件:LLM、代码、兜底三类角色分工

图:六大护栏。GUARD 01 由 LLM 负责(明确商品锚点),GUARD 02-05 由代码负责(门槛匹配、费比区间、面额计算、预算频控),GUARD 06 是兜底(允许"不发")。任一条件不成立即落入"不发"出口,不进入金额计算。图片来源:淘天集团淘特用户技术团队

  • GUARD 01(LLM):行为序列里必须存在可识别的商品锚点
  • GUARD 02(代码):优惠券门槛必须在商品到手价的合法区间内
  • GUARD 03(代码):实际费比必须落在权益档位的允许上下限之间
  • GUARD 04(代码):面额由门槛与费比经公式推导,模型不得自行指定
  • GUARD 05(代码):预算水位、发券频次、冷却时间必须通过校验
  • GUARD 06(兜底):信息不足时主动选择不发券,而非猜测金额

我认为这套设计的核心思想一句话就能概括:把 LLM 的输出限制在"它真正擅长、且错了也不致命"的位置上。

LLM 擅长什么?理解"用户在反复看渔网意味着什么"、"哪些行为说明耐心在流失"。这些是语义理解,错了最多是推荐不准。

LLM 不擅长什么?精确算术、预算控制、合规判断。这些错了就是真金白银的损失。

所以架构上做了物理隔离:语义在前,算术在后,中间用一个商品锚点作为交接物。LLM 的输出是"锚点"(一个语义标识),不是"金额"(一个数值)。金额由代码根据锚点查表算出来。

这个范式其实和 AgentScope v2.0.5 那批修复是同一个方向——拒绝不完整的工具调用参数、把模型提供的 limit 强制 clamp、记忆合并设四条门控才允许覆盖。行业已经形成共识:LLM 的输出不能盲信,框架层必须做质量门禁。

GUARD 06 的"允许不发"尤其值得单独说。兜底策略是"信息不足就不发",而不是"猜一个金额"。这是对 LLM 过度自信的对冲——模型永远会给你一个答案,但"没有好答案"本身也是一个合法答案。

六、离端:信息量最大的那一刻

6.1 反直觉的起点

直觉上,用户关掉 App 就是这一轮失败了,只能等下次。

原文给了一个完全相反的判断:

用户的完整行为序列信息在他离端的那一刻是最完整的。而"没有时间限制"并能从非结构化的日志数据中提出有效的信息,恰恰又是 LLM 最擅长的场景。

这句话把三件事对齐了:信息最全的时刻(离端)× 没有延迟压力(异步)× 非结构化数据处理(LLM 强项)。三个条件同时满足,才使得"深度归因"这件事第一次变得可行。

之前的做法为什么不行?因为归因需要读完整日志、需要多步推理,这在 200ms 的在线链路里根本做不到。只有把它挪到离线、挪到用户已经离开之后,才有预算做这件事。

IPV 原始日志与 AI 意图推理的对照

图:左侧是用户原始 IPV 行为日志(URL、埋点、时间戳,非结构化),右侧是 AI 基于日志推导出的转化策略:识别出武汉冬季、价格敏感、商品为暖手宝等。图片来源:淘天集团淘特用户技术团队

左边那坨东西是真实的 IPV 日志——一长串 URL、埋点参数、时间戳。人看着头大,规则系统只能提取固定字段。

右边是 LLM 的推理结果:它从日志里读出了"武汉 1 月 21 日、大寒节气前后"(时间地点)、"用户抱怨'手脚凉'、多次浏览暖手宝"(需求)、"原价 3.01、红包后 2.65、到手 1.36"(价格敏感度)、"realSales 6000+ 人付款"(社会证明)。

这里面最关键的跳跃是:它把"天气冷"和"需要暖手宝"联系起来了。这个联系不在日志里,在模型的世界知识里。

6.2 三轮 Chain:按"失败的代价"拆分

DeepFlowAgent 的推理拆成三轮:

DeepFlowAgent 慢思考模式:三轮 Chain 与多渠道触达

图:DeepFlowAgent 架构。上下文聚合后进入 LLM 深度推理,输出策略(权益、话术、选品、时机、频次),再经多渠道触达(Push、短信、站内信、支付宝生活号、小程序服务通知),最终回流到用户回端转化。图片来源:淘天集团淘特用户技术团队

  • Chain 1 召回判断:该不该召回?置信度多少?犹豫原因是什么?
  • Chain 2 选品定价:钩哪个商品?发多大红包?门槛多少?成本比可接受吗?
  • Chain 3 文案生成:Push 标题怎么写?正文怎么写?什么时机发?走哪个渠道?

为什么拆三轮?原文给的理由我认为比"便于维护"深刻得多:

环节错了的代价评测口径
召回判断打扰用户,退订率上升、品牌受损准确率 / 召回率
选品定价花冤枉钱,真金白银损失成本比 / 增量 ROI
文案生成点击率低,转化效率下降CTR / 主观质量分

三种错误的代价性质完全不同,所以必须拆开独立评测、独立迭代、独立灰度。

这个拆分依据值得记住:大多数系统拆模块是按"功能"拆的(用户模块、订单模块、支付模块),但这里的拆分依据是错误的代价结构。混在一次调用里,任何一环出问题都会污染整个输出,而且没法归因到底是哪一环错了。

顺带说,这也是"慢思考"的真正红利——不只是"可以想得更久",而是"可以分段想、分段验、分段改"。在线链路里你只有一次机会,离线链路里你可以有三次。

6.3 那个湛江渔网的例子

原文给了一个真实的推理输出,我觉得这是全文最有说服力的一段。

{
  "confidenceScore": 92,
  "hesitationReason": "price",
  "needRecall": true,
  "pushTitle": "🎣 您看的加重渔网,立减6元!",
  "pushContent": "进口三层沉网捕大鱼,原价47元,专属红包再省6元!湛江老乡专享",
  "searchKeyword": "加重渔网",
  "redPacketThreshold": 4700,
  "recommendedRedPacketAmount": 600,
  "redPacketCostRatio": 0.128,
  "userIntent": "用户为55岁男性农林牧渔从业者,多次浏览垂钓用渔网(价格47-52元)和低价小说(18-39元),结合其职业和地域(湛江沿海),对渔具需求明确且真实,小说浏览可能为兴趣延伸。核心意图是购买实用渔网用于捕鱼作业。",
  "recallReason": "用户多次深度浏览高相关性渔具商品,职业与商品强匹配,且最后行为聚焦在渔网上,价格敏感但购买力中等(buyLevelCode=7),通过精准红包可有效降低决策门槛促成转化"
}

四个细节值得逐个看:

"湛江老乡专享" —— 地域信息被用成了情感钩子。这不是模板里配的字段,是模型自己决定要这么说的。规则系统能填"尊敬的湛江用户",但填不出"老乡"这个带温度的词。

"进口三层沉网捕大鱼" —— 这是渔具行业的专业卖点。模型知道"三层沉网"对捕鱼作业意味着什么,也知道观赏渔网和作业渔网不是一回事。

"原价47元,专属红包再省6元" —— 47 元正是用户反复浏览的价格带(47-52 元)的下沿。门槛 4700 分贴着到手价定,面额 600 分对应 12.8% 的成本比,全落在合规区间内。

"小说浏览可能为兴趣延伸" —— 它没有被那几条低价小说的浏览记录带偏,正确判断出主线意图是渔具、小说只是干扰项。

原文那句总结我认为很到位:传统规则系统能写出"您关注的商品降价了",但很难写出"湛江老乡专享"和"三层沉网"——因为它不知道湛江靠海、不知道沉网是干什么的、也不知道这两件事和买渔网有什么关系。

这里补一句我的保留意见:这种精准的另一面是"被看穿感"。用户如果意识到系统知道他是湛江的、55 岁、打渔的、还在看小说,感受可能不是"贴心"而是"发毛"。个性化的边界在哪里、什么时候该"装作不知道",原文没有讨论。这是个值得单独研究的课题,尤其在隐私意识越来越强的当下。

七、我的六点判断

跳出具体实现,说说我读完之后的判断。

7.1 真正的护城河是实验基础设施,不是 LLM

想复刻这套系统的人,第一反应通常是"我需要一个更强的模型"。但我认为真正的门槛在别处。

三层 Loop 要转起来,前提是有可信的实验体系:四桶流量切分、天级 AB 回收、帕累托评估口径。没有这些,"回测打回重做"和"天级回收诊断"就都是空话——你根本不知道改得对不对。

很多团队卡在"我们的 AB 平台只能跑两组对比"、"我们的实验周期是两周不是一天"、"我们的指标口径还在打架"。这些才是真正的瓶颈。

LLM 只是这个飞轮里的一个零件。飞轮本身是统计学和工程纪律,不是模型能力。

7.2 三个 Agent 各自最优 ≠ 全局最优

这是原文自己承认的问题,也是我认为最有价值的"未完成项":

目前三种模式只做到了数据层面的回流,还没有形成用户视角的联动。

后果很具体:进端刚发了一张券,用户没买,在端 PEI 衰减又触发一次干预,离端再 Push 一次——用户一天被"关怀"三次,感受到的不是"平台懂我",而是"三个系统在抢着讨好我"。

原文说的下一步是"从共享数据走向共享决策状态":已经发放和使用过什么权益、当前还有哪些动作在执行、预算与频控还剩多少。

我认为这本质上是个分布式一致性问题。三个 Agent 各自有独立的决策循环,要共享"权益已发/未发、频控余量、预算水位"这些状态,就得引入某种全局状态机或者协调层。难点不在于"再加一个 Agent",而在于:

  • 状态要跨 Agent 实时可见(延迟)
  • 决策要避免并发冲突(同时判断"该发"然后发两次)
  • 局部最优要让位于全局最优(某个 Agent 的"最优动作"可能被全局频控否决)

这比"三个 Agent 各做各的"难一个量级。原文把它列为下一阶段重点,我觉得是诚实的,也是清醒的。

7.3 帕累托结论的证据强度有边界

前面说过,这里再强调一次:"AI 超越人工中控"这个结论,是在"策略空间由人工定义"的前提下成立的。

网格特征是人选的、权益类型是人定的、价格档位是人划的。AI 优化的是组合,不是发现新的可能性。它证明了"给定空间内的搜索比人强",没有证明"AI 能想出人想不到的策略"。

这两件事的难度差很远。前者是优化问题,后者是创造问题。原文没有混淆这两者,这点很克制。

7.4 token 成本降 60% 才是规模化的关键

原文提到消耗峰值达到数百亿 token/日,同时把成本降低了超一半。

这个数字背后的工程含义容易被忽略:数百亿 token/日意味着系统每天都在做海量推理。如果不把成本打下来,这套系统在经济上就不成立——ROI 再高,也架不住推理成本吃掉利润。

可能的优化手段(原文没细说,我按经验推测):小模型分流(简单判断用便宜模型)、结构化输出减少 token、Prompt 精简、缓存复用、批量推理。

我认为这条应该被更多团队重视:Agent 系统的成本结构,往往决定它能不能规模化。 一个效果很好但每天烧掉百万成本的系统,在业务上是不可持续的。

7.5 过度干预的风险没有被充分讨论

三个时机都在"促进转化",加起来的干预频次可能很高。

PEI 有频控和冷却(GUARD 05),但那是在端 Agent 内部的。跨 Agent 的频次没有统一——进端的券、在端的弹窗、离端的 Push,是三个独立通道。

用户感受到的是"总打扰次数",不是"每个 Agent 各自的打扰次数"。这个账原文没算。

我认为这是"统一用户智能体"要解决的核心问题之一,而且优先级应该比"共享决策状态"更靠前——因为打扰的代价是用户流失,比预算浪费更难挽回。

7.6 这套东西的可迁移性很高

抛开电商场景,这套架构回答的是"LLM 如何进入实时决策系统"的通用问题。

任何场景只要满足:有明确的时机窗口、有预算/资源约束、需要长期优化、能拿到反馈信号——都可以套用这套骨架。比如:

  • 客服系统的"何时升级人工"(时机判断 + 成本约束)
  • 内容平台的"何时推送"(PEI 类似物 + 频控)
  • 运维系统的"何时告警/自愈"(延迟预算 + 护栏)

迁移时最该带走的是三个设计决策:按时间尺度切分、LLM 只做语义、基线用历史最好自己。

八、可以带走的六条原则

如果只记六句话,我选这六条:

1. 按时间尺度切分决策,而不是按功能切分。 50ms / 200ms / 分钟级是三个完全不同的世界,架构必须分开设计。用一套架构硬扛所有延迟要求,结果一定是都被最严的那个拖累。

2. 每个时间尺度分配匹配的信息完备度。 50ms 只能用统计特征,200ms 能用当前会话,分钟级才能用完整历史。信息越少,决策越要保守。

3. LLM 只做语义,算术和约束交给代码。 让模型输出"锚点"(语义标识),不让它输出"金额"(数值)。中间用查表/公式衔接。这一条能挡掉绝大多数生产事故。

4. 兜底策略必须是"不做",而不是"猜"。 模型永远会给你一个答案。但"没有好答案"也是一个合法答案。GUARD 06 的"允许不发"是这个原则的教科书式实现。

5. 基线用"历史最好的自己",形成棘轮。 对照空桶只能证明"做了比不做好",对照 SOTA 才能证明"新的比旧的好"。只有后者能让系统单调变优。

6. 按失败代价拆分链路,而不是按模块。 三轮 Chain 的拆分依据不是功能边界,是"错了会损失什么"。代价性质不同的环节,必须独立评测、独立灰度。

结语

回到开头那个问题:LLM 怎么进入一个有硬约束的实时系统?

淘特给的答案是:把它放在正确的位置上,然后给它配一套能自我纠错的纪律。

正确的位置是指:只做语义理解,不做数值决策;只在信息最全的时刻做最重的推理;只在预算允许的尺度上做干预。

纪律是指:三层循环的成本递增筛选、四桶实验的棘轮基线、六道护栏的物理隔离、三轮 Chain 的代价拆分。

三个 Agent 会过时(模型会换、架构会改),但这套纪律不会。它跟模型能力无关,只跟"如何在不确定中做可验证的决策"有关——而这恰恰是工程最本质的部分。

原文最后那句话我很喜欢,抄在这里作为结尾:

看得见用户的状态变化,算得清干预的真实增量,能在有效窗口内行动,也能根据结果修正甚至撤销自己的判断。

这四件事,其实已经超出了"营销系统"的范畴。它描述的是一个有判断力、有记性、会认错的系统。这可能才是 Agent 这个词真正该有的样子。