从生成到决策:AgenticOps 决策模型的能力实测

0 阅读48分钟

作者:朴象

本文已收录到开源项目 Alibaba Cloud AI Agent Handbook 的决策模型专题,该专题已汇总了决策模型综述,以及我们在智能体评测、AgenticOps、工单分诊助手等方面的实践,欢迎大家将 Handbook 作为你的 Agent 外接知识库。文末点击阅读原文,访问该开源项目。

若您无法访问 GitHub,也可在此处下载 PDF 版:

developer.aliyun.com/ebook/8630


一条慢查询告警,Agent 查了 10.16 分钟,调用 123 次诊断模型,最后拿到 94 分。结果不差,但是,先查什么,这条证据有没有用,下一步该往哪走。这些判断,每次都需要让大模型生成一遍答案吗?以前我们在选更强的调查模型,同时持续优化我们的 harness,决策模型的出现拓宽了我们的优化思路,我们想看看能不能把调查中的一部分 LLM 判断交给专门的决策模型。

不只是故障诊断,AgenticOps 任务中的数据查询、巡检和处置都需要反复做出判断:选择对象与数据、理解已有信息、选择工具与方法、整理上下文,以及检查结果。本文从 STAROps [ 1] 实际运行过程出发,在 15,788 个评分 case 上比较 12 个模型,覆盖内部实验版本、百炼与外部决策模型,以及 Qwen3.8 Flash,并在 10 个 RCA 案例上验证不同接入位置。我们关注的不只是模型能答对多少题,还包括怎样使用它的输出,以及单步判断的优势能否改善完整 Agent 任务。

五类运维判断中,都有决策模型超过 Qwen3.8 Flash;在 1,745 条共同单题输入上,Pilot 准确率高 2.52 个百分点,P95 响应时间缩短 80.3%。把低置信度题交给 Flash 后,55 组模型与任务组合中,有 38 组超过了两者中较强的单模型。但到了完整 RCA,答案又有不同:同样 10 道题,Decision 1 放在任务分派位置提高 6.40 分,Clef 27B 的进展判断配置提高 7.20 分,Pilot 根因校验配置提高 2.40 分、耗时缩短 4.0%。专用模型已经有值得用的能力,接下来要回答的是:让谁做哪一步,才能让一次调查做得更好?

真实调查中的决策与开销

我们从 rca-benchmark [ 2] 中最近 10 道故障题的运行记录里,先挑一条看清调查怎样推进,再把 10 道题的模型调用摊开。这样才能知道,哪些反复出现的判断值得交给专用模型。

▍1.1 一条真实轨迹中的五类判断

先把 F162 这道 RDS 慢查询题展开。slowQueries 告警出现时,慢查询、CPU 和 IOPS 一起升高,QPS 与连接数却基本平稳。STAROps 沿低效 SQL、锁等待和实例变更三个方向查下去,派出三个子调查,分别取指标、慢日志和 SQL 审计。最后用时 10.16 分钟,Brise [ 3] 评分 94 分,诊断模型调用了 123 次。这个结果已经不错,值得继续追问的是:这 123 次调用,分别在判断什么?

顺着轨迹看,五类判断都能找到对应的动作。先选实例、数据源和时间段,再读证据:120 条相同查询,每条扫描约 839 万行,却只返回 1 行,相关字段没有索引。接着选核验方法、分派子调查,API 不可用就转查日志。随着材料增多,Agent 还要留下时间范围、已有证据和待查问题,汇入调查图。交付前,它把查询频率、慢查询指标和业务影响放到一起核对,确认新增报表作业的低效扫描是主要原因。机制查到了,作业由谁发起还没有查到。

文章原图 1

到 04:12 左右,三个子调查开始并行核验;09:27,主调查汇总证据,确认主要原因。这里最关键的一步,是把“有一条低效 SQL”变成“这条 SQL 解释了本次告警”:故障前后没有这批查询,故障期间的查询频率又与慢查询指标吻合。找到异常只是起点,把异常和这次故障对上,才有了诊断依据。

文章原图 2

▍1.2 整批耗时集中在哪里

把范围扩大到 10 道题,开销更直观。STAROps 某版本默认配置(版本 A)最终调用模型 1,653 次,去掉 10 次标题生成,剩下 1,643 次诊断调用,累计耗时 214.3 分钟。对象与数据选择用了 117.3 分钟,占 54.7%;上下文整理用了 41.0 分钟,占 19.2%。也就是说,大量等待发生在“查什么”和“怎样把查到的东西留给下一步”上。这里累加的是每次模型调用的耗时,工具执行时间另计。

文章原图 3

上下文整理为什么会用掉 41.0 分钟?32 次子调查结果汇总占 21.3 分钟,67 次以记录观察为主的调用占 17.2 分钟,其余用于维护调查图、证据文件和待查问题。这些动作都在为后续判断准备材料。调查越往后,已经查过的东西越多,怎样留下有用信息本身也成了一项工作。

统计按模型调用所在步骤的工具动作归类:取数与读取证据归入对象与数据选择;提出、判断假设和统计已有数据归入信息理解;加载 Skill、查询工具用法和分派子调查归入工具与方法选择;记录观察、保存摘要和返回子调查结果归入上下文整理;读取报告要求、结束调查和最终回复归入结果检查与交付。同时涉及多类动作的步骤单列为混合动作。

▍1.3 对决策模型工作的启发

这就把接入问题落到了具体步骤上。选错数据,后面可能白查;读错证据,调查方向可能偏掉;整理时漏掉信息,后续又要重新找。我们想从这些高频判断里挑出适合专用模型承担的部分,再看它能否同时改善准确率和调用开销。

实验里,先给不同模型相同的材料和候选,比较判断准确率与响应时间;再把候选模型接回完整 RCA,用最终分数和调查耗时检验单步优势有没有留下来。

评测设计与数据集

一次调查包含很多不同的判断,不能都用一个总分概括。我们把运维题按前面的五类判断整理,覆盖查询、巡检和诊断;另外加入语义理解、模型调度和执行评价三类通用题。两部分分别计分,既看模型懂不懂运维,也看它在通用任务上的表现能否延续到这里。

文章原图 4

上方动态图展示数据查询、巡检、诊断和处置如何对应到共同的五类判断。

▍2.1 任务构成

评测共 15,788 个评分 case,运维决策 14,757 个,通用决策 1,031 个。运维题对应前面的五类判断;通用题包括情感识别、模型能力档位选择和 Agent 执行评价。同一份材料可能问多个问题,这里每个独立计分的判断算一个评分 case。

文章原图 5

▍2.2 运维决策任务

2.2.1 选择对象与数据

开始查之前,Agent 先要选对目标。这类题给出任务和候选,让模型筛选告警、实体或指标:这组告警该不该进 Top-10?指标元数据是否支持把它加入查询集合?选中哪些对象,决定了后面会拿到什么材料。

文章原图 6

本类共 9,676 个评分 case,检查模型能否从候选中选出与当前任务相关的对象和数据。

2.2.2 理解已有信息

拿到材料以后,问题变成“这些信息说明了什么”。输入可能是工具结果、证据卡片,也可能是一份报告。模型要识别异常、判断证据的作用,或根据证据推断根因;另一些题则要求读懂报告,找出报告已经认定的根因。

文章原图 7

本类共 2,360 个评分 case。其中,154 个根因实体题要求根据证据作出推断,107 个要求从报告中识别已有结论。两者分别检查推断能力和信息理解能力。 此外还包括工具结果数量分档和调查图操作分类。

2.2.3 选择工具与方法

知道当前发生了什么,还要决定下一步怎么做。比如巡检发现异常后,结合当前现象和历史 Case,是新建调查、重开已有调查,还是复用结论、继续观察或无需关注?这类题把下一步工具与行动作为候选,检查模型能否选对。

文章原图 8

本类共 617 个评分 case,考察下一步行动的选择。2.3.3 的 Agent 执行评价则检查已经完成的执行过程,两类题分别对应行动前的选择和行动后的评价。

2.2.4 保留必要上下文

调查留下的材料越来越多,哪些要继续带着?这类题让模型在完整正文、摘要和可回读卡片之间选择,再检查摘要是否改动事实、是否漏掉后续判断需要的信息。这里让模型评价已有摘要、选择保留方式,摘要生成本身不在这组题里。

文章原图 9

本类共 1,294 个评分 case:1,061 个检查上下文保留方式,114 个检查摘要事实一致性,119 个检查摘要是否保留决策所需的信息。既看保留方式是否合适,也看压缩后是否丢失关键信息。

2.2.5 检查结果是否满足要求

到了交付前,还要回头核对结论。RCA 报告中的故障机制是否符合给定参照?ECS 查询回答里的实例、CPU 均值与峰值、单位和记录是否正确?这些题检查的是最终交付是否站得住,而不只是回答有没有生成出来。

文章原图 10

本类共 810 个评分 case,包括 715 个 RCA 报告检查和 95 个数据查询回答检查。报告题中,161 个检查故障机制一致性;查询回答题包含 88 个正确样本和 7 个错误样本。

▍2.3 通用决策任务

通用题提供另一组参照:擅长日常语义理解、模型调度或执行评价的模型,到了运维判断里是否也占优?我们把这三类题与运维题分开计分,方便看清哪些能力能延续过来,哪些还需要针对任务开展实验。

文章原图 11

2.3.1 情感识别

情感识别共 290 题。模型读一段日常英文文本,从愤怒、恐惧、喜悦、喜爱、悲伤和惊讶中选标签,比如判断“i am back to feeling determined”表达了什么情绪。它和运维证据分类都要求读懂材料后作出选择,放在一起看,可以观察模型在两类语义判断上的表现是否一致。

2.3.2 模型能力档位选择

模型能力档位选择共 600 题,覆盖命令编写、软件设计和研究分析。给定任务正文,模型需要选择完成它所需的最低能力档位。参考档位由出题者经过两轮自审确定,尚未绑定具体模型;本组按标签一致性评分,不执行任务。它回答的是模型能否判断任务难度,实际调度效果还要结合具体模型的执行结果来看。

2.3.3 Agent 执行评价

Agent 执行评价包含 25 条执行轨迹、141 个评分 case,覆盖指标统计、发布简报和配置检查。模型读取任务要求、Skill 条款和工具返回,检查 Skill 是否漏用或误用、指令是否兼容,以及执行是否遵循要求。Agent 说自己做完了,实际交付是否对得上,是这组题的重点。

关键问题与参测模型

有了这批题,我们沿着四个问题比较 12 个模型:谁适合做哪类判断,材料和答案该怎样处理,哪些题值得交给 Flash,以及接入之后整场调查是否更好。

▍3.1 关键问题

3.1.1 KQ1:哪些判断适合交给决策模型,准确率与响应时间如何取舍?

先看选型。同一类判断里谁更准,在共同题目上谁响应更快?再结合实验路线、架构和部署条件理解差异。结果见 4.1。

3.1.2 KQ2:输入材料和答案使用方式,如何影响模型判断?

再看接法。材料长度变化时成绩怎样,同一份响应怎样读成答案,低估或高估摘要又会让后续动作发生什么变化?结果见 4.2。

3.1.3 KQ3:何时组合两个模型,比直接使用其中一个更好?

然后看互补。低置信度时交给 Flash,能否超过直接使用其中一个模型?我们既统计多答对多少题,也统计多交出去多少题,比较回退阈值和任务之间的差别。结果见 4.3。

3.1.4 KQ4:决策模型接入 RCA Agent 后,能否提高诊断质量、减少调查耗时?

最后回到完整 RCA。主调查模型保持不变,分别让 Clef Pilot、Microsoft Decision 1 和 Clef 27B 接入对象选择、任务分派、进展判断、上下文管理与根因校验。用同一批任务比较最终评分、耗时和逐题变化,看看单步优势落到哪个位置才有用。结果见 4.4。

▍3.2 参测模型与选择依据

本轮共 12 个模型:4 个内部实验版本[S1]、1 个百炼决策模型、6 个外部决策模型,以及作为通用模型对照的 Qwen3.8 Flash。Flash 既用来回答“现有通用 LLM 已经能做到多少”,也在后面的组合实验中接手低置信度题。

比较分三个层次。先把专用决策模型与Flash放在一起,看准确率和响应时间;再按规模看不同路线,9B 组包括 Clef、StartLux-style C、Fullset 和 Decision 1,27B 组包括 Clef、Decider 和 Drex Max;最后看加大模型是否划算,例如 Decider 4B 与 27B、Clef 9B 与 27B。各模型的底座、实验设置和部署条件也列在下面,解释成绩时一并考虑。

文章原图 12

3.2.1 内部实验版本与百炼模型

模型底座与参测版本实验或实现特征纳入原因
STAROps-Clef Pilot-9BQwen3.5-9B;soft-choice pilot SFT,step256内部实验、EAS部署;接入记录标为soft-choice版本与r9比较同规模的不同实验版本,观察各类决策表现是否稳定
STAROps-Clef r9-9BQwen3.5-9B;SFT step900,BF16内部实验;EAS服务支持完整65,536-token输入保留已有实验版本作对照,检查新版本的收益与退步
STAROps-Clef SFT-27BQwen3.8-27B;SFT step800内部实验的大模型版本,EAS部署检查较大模型是否更适合证据理解、上下文和报告判断,并与外部27B比较
STAROps-StartLux-style C-9BQwen3.5-9B;LoRA C step612,按开发集选中全注意力层改为双向,26字母读出;BF16基座、FP32 LoRA与读出;未加载公开StartLux成品权重与Clef 9B比较另一种决策实现,检查字母读出与宽候选适配的效果
百炼-Fullset-9B百炼 pre-decision-model-9b-fullset百炼提供的内测决策模型;本轮适配器每批最多16题作为内部可接入的9B决策服务对照

Clef 路线参考上游 Clef-Flash。其公开方案在 Qwen3.5-9B 的隐藏状态上增加 Transformer 联合决策头,直接为问题中的候选打分。

3.2.2 外部决策模型与通用 LLM

模型底座与规模公开实现/训练特征纳入原因
Perplexity-Decider v1.2-27B 周请求:220,565,105次Qwen3.8-27B同一序列读取材料与多个问题,在各题标记处用255路读出层打分;全注意力层双向;多次训练权重平均[S3]27B通用决策对照,重点观察多问题、上下文判断与置信度
Perplexity-Decider Flash v1.2-4B 周请求:22,318,397次Qwen3.5-4B沿用联合问题协议;由Decider v1.2蒸馏,并组合多个训练版本[S4]小模型部署候选,判断哪些决策可以用更小规模承担
Nace.AI-Drex Max-27B 周请求:38,761,852次公开Max v1为Qwen3.8-27B稠密模型专用255路读出;全注意力层双向;SFT后使用RLAF优化;每个问题单独编码[S5]同为27B但训练和多问题处理不同,与Decider及团队27B比较
Microsoft-Decision 1-9B 周请求:12,379,487次Qwen3.5-9B经过决策后训练,单次前向返回候选概率;未公开完整决策头与训练配方[S6]9B商业决策服务对照,覆盖路由、筛选和结果评价
Liquid AI-D1 Ultra-Uknown 周请求:23,187,920次官方说明基于更大的开源权重模型,未披露具体底座与规模直接返回类型化概率;专门训练概率可靠性,支持文本与图像[S7]检查商业决策模型在复杂判断及概率回退上的表现
TypeSafe-Jev 1.14-Uknown 周请求:516,409,378次未公开底座与参数规模官方披露并行采样与RLCD,即面向校准决策的强化学习;具体网络未完整公开[S8]本次决策模型研究的原始参照,比较准确率、耗时及概率使用效果
Qwen3.8 Flash通用生成式LLM关闭思考、temperature=0,生成结构化答案后解析回答是否需要专用决策模型,同时作为低置信度回退的统一模型

▍3.3 比较条件

评分规则对所有模型一致:使用同一批题目和参考答案,选择题、布尔题检查答案匹配,多选题按整组选择计分,缺失或无效输出计错。179 道分档题取概率最高的档位,Flash 使用明确返回的档位。我们按任务分别报告成绩,并与 2.1 中的固定答案或规则对照,检查模型究竟多做对了哪些判断。

相同题目需要适配不同服务的输入限制。 Clef 每次请求最多 128 题、每题最多 256 个选项;StartLux-style C 每次最多 32 题,Fullset 按 16 题分批。StartLux 遇到超过 26 个候选时,先按每组 25 个候选筛出 3 个,再比较入围项。Decider 把材料和多个问题放在同一序列中处理,Drex Max 逐题编码材料,Liquid 按每题重复计算输入费用。[S1][S3][S5][S7] 实验记录材料长度、题数、候选数及拆分后的请求数,用于分析这些处理方式带来的差异。

回退实验要算清一笔账:交给 Flash 之后,修正了多少错题,又改错了多少原本正确的题?候选概率来自专用读出层、StartLux 分组后的组合结果或 Flash 生成的文本。实验固定Flash输出,按案例分成五组,每次用四组选阈值,在剩余一组测试,再汇总五组成绩。除了最终准确率,还报告回退比例,以及相对原模型、相对两者中较强模型的提升。

速度统计共同题目的单题 HTTP 请求,报告 P50 和 P95。内部模型跑在阿里云不同 GPU 卡型上,外部模型走各自服务入口;网络传输和服务等待都算在内。对接入方来说,这就是发出判断请求后实际要等的时间。

实验结果与分析

▍4.1 哪些判断值得交给决策模型

Flash 已经能做这些判断,换专用模型值不值得?先看 12 个模型在五类运维任务、三类通用任务中的准确率,再把题型拆细,最后一起看调用速度。

文章原图 13

1. Jev 用得最多,选型仍要看它在哪些题上做得好。 11月10日记录的 OpenRouter 周榜里,Jev 约 5.16 亿次调用,在本次六个外部决策模型中最高。落到这批题,它的信息理解和情感识别高于 Flash,模型档位选择接近 Flash,Agent 执行评价则是 Flash 更高。再往下拆,Jev 的报告逻辑检查拿到最高分。对运维接入而言,这个具体强项比调用量排名更有用。

2. Decider-27B 很强,但也有该留给 Flash 的工作。 Perplexity Decider 的信息理解 82.37%、模型档位选择 99.33%,都是全部模型最高;上下文保留 85.16%,与 Drex Max 只差一道题。可到了工具与方法选择,Decider 只有 78.77%,Flash 是 86.71%。同一个模型,接到前面三类判断里很有吸引力,拿来统一替换工具选择却不合适。

3. 内部实验版本的优势已经落到具体任务上。 五类运维判断中拿到三项第一,八类任务中拿到四项第一:Clef SFT-27B 的对象筛选 92.51%、结果检查 79.75%,Clef r9 的工具与方法选择 88.01%;通用情感识别也是 Clef SFT-27B 最高,为 85.86%。下一轮实验的参照也很清楚:保住这些强项,再追外部方案领先的信息理解、上下文保留和模型档位选择。

4. 值得接入的能力已经有了,接下来是按任务挑模型。 五类运维判断中,都有决策模型比 Flash 高 1.30—7.11 个百分点;通用题里的模型档位选择、情感识别也有决策模型领先,Agent 执行评价则仍是 Flash 最高。这个结果支持把合适的判断交出去。至于交给谁,还要把题型和等待时间放到一起看。

4.1.1 先确定模型擅长哪些判断

“擅长报告审核”这个说法还是太宽。核对依据和检查逻辑,领先的可能是两个模型。我们把报告检查拆开,再加上指标筛选、证据分类、工具选择和摘要价值,组成六类细分题,继续比较全部 12 个模型。

文章原图 14

1. 指标筛选与工具选择,已经有多个接近的高分方案。 Clef SFT 的指标选择 98.85%,高于 Flash 1.28 个百分点;工具选择 88.98%,高于 Pilot 和 Flash 0.82 个百分点,Liquid 也有 87.35%。在这种差距下,不能只盯最高分。把这些判断放进反复调用的 Agent,等待时间同样会影响最终选哪个。

2. 摘要值不值得留,三个 27B 方案明显更会判断。 Clef SFT 与 Decider 都是 86.84%,Drex Max 为 85.09%,Flash 只有 57.89%。其他模型的差距也很大:Liquid 为 78.07%,Jev 为 36.84%,Microsoft Decision 1 为 33.33%,Decider Flash 为 8.77%。如果要从现有上下文中挑出后续任务需要的信息,我会先试这三个 27B 方案,再检查它们具体高估或低估了哪些摘要。

3. 报告依据核对和逻辑检查,应该分开选型。 数据支撑上,Clef SFT 以 63.03% 领先,Pilot、r9、Microsoft Decision 1 也高于 Flash 的 54.55%,Jev 只有 18.18%。逻辑严谨性却反过来:Jev 以74.74%领先,Flash 为 74.23%,Clef SFT 为 61.34%。一份报告可以推理写得通顺,却没有足够数据支撑;也可能引用了数据,推导仍有问题。把审核拆成这两问,才能用上各自的强项。

4. 同样在读证据,分类和核对依据的排名并不一样。 证据角色分类里,Decider 为 78.54%、Flash 为 78.40%、Jev 为 76.58%;Clef Pilot、r9、27B 分别为 72.51%、71.25%、67.88%。前面 Clef 领先的是核对报告有没有依据,这里要识别的是证据在调查中起什么作用。若要做证据分类,Decider 和 Flash 值得优先看;不能直接拿报告核对的排名来选。

Takeaway|把任务拆细,模型才选得准。

对接入方来说,“支持报告审核”还不是一个足够具体的选型要求。先说清要核对数据依据、检查逻辑,还是识别证据作用,候选模型就会不同。指标筛选和工具选择已有多个接近的高分方案,再用响应时间决定取舍,比给所有判断统一换一个模型更实际。

4.1.2 准确率优势是否值得增加等待

再来看速度。我们只比较 12 个模型都首次成功、一次 HTTP 请求只问一道题的输入,共有 2,079 条;按题型与参考答案要求筛选后,留下 1,745 条。下面的准确率和耗时都来自这同一批题。

这 1,745 条输入以信息理解和工具与方法选择为主,分别 659 题、591 题,合计 71.6%;另有 276 题情感识别,其余三类共 219 题。前面的完整分项回答“谁适合这类任务”,这里补上“实际要等多久”。P50 和 P95 从发出请求计到收到完整响应,包含网络和服务端处理。

文章原图 15

1. 更快与更准,在这批题上可以同时做到。 11 个决策模型的 P95 都低于 Flash 的 5.839 秒,其中 Clef Pilot、r9、27B、Liquid 和 Jev 这 5 个模型的准确率也超过 Flash 的 80.29%。Pilot 尤其值得看:82.81% 的准确率,高 2.52 个百分点;P95 为 1.150 秒,缩短 80.3%。对一个反复作判断的 Agent,这意味着既少答错一些题,也少等一段时间。

2. 27B 分数最高,为什么还把 Pilot 作为接入起点? Pilot 部署在 H20,r9 在 L20,准确率分别为 82.81% 和 82.69%,P95 为 1.150 秒和 1.407 秒。Clef-27B 部署在 A100,准确率 83.21%,P95 为 1.967 秒。多等这些时间,换来了什么?比 Pilot 净多答对 7 题,其中情感识别净增 9 题,运维题合计净减 2 题;对象筛选、信息理解有提高,工具与方法选择等题型有下降。因此,如果要给运维 Agent 选一个通用的决策组件,我会先看 Pilot;如果已经确定要做的题型,再看 27B 能否带来值得这段等待的准确率提升。这里比较的是各自 GPU 上的实际服务表现。

3. 外部服务里,Liquid 与 Jev 的取舍很直观。 Liquid 为 80.40%,Jev 为 80.52%,只差 2 道题;P95 却是 2.193 秒对 4.284 秒,Liquid 缩短 48.8%。Decider-27B 为 79.89%、3.667 秒。若面对的是这批混合题,Liquid 的效率很有吸引力;若已经确定任务是信息理解或上下文判断,就要回到前面的分项,继续看 Decider 的强项。

4. Fullset 最快,但这个速度要和准确率一起买单。 它的 P50 只有 0.155 秒,P95 为 0.251 秒,都是本轮最快;准确率 74.90%,比 Flash 少答对 94 题。这个取舍不能只看“快了多少”。同样是 74% 左右的准确率,Microsoft Decision 1 为 74.84%,P95 却要 1.900 秒。如果目标题型能接受 Fullset 的准确率,它就是很有吸引力的低延迟选择;如果要追回那 94 道题,就该继续看其他模型或回退组合。

Takeaway|先用 Pilot 起步,再问大模型多解决了什么。

Pilot 在共同单题对照中同时提高准确率、缩短等待,适合作为运维决策组件的接入起点。换 27B 时,要把额外答对的题拆到目标题型,看它是否值得增加等待。外部方案也一样:混合任务看 Liquid,延迟特别敏感时看 Fullset,最终都回到自己的任务与服务条件上比较。

4.1.3 结合实验与实现理解方案差异

同样大小的模型,差别还有多大?9B 组都基于 Qwen3.5-9B,包括内部实验中的 Clef Pilot、Clef r9、StartLux-style C,以及外部的 Microsoft Decision 1;27B 组都基于 Qwen3.8-27B,包括内部 Clef SFT 与外部 Decider、Drex Max。把同底座、同规模的方案放在一起,能更直接地看实验路线、输入组织和答案读出的差别。

文章原图 16

1. 同为 9B,Clef 与 StartLux 已经走出了不同强项。 对象筛选,Pilot 是 91.38%,StartLux 是 82.19%;结果检查,StartLux 以 77.53% 超过 Pilot 的72.10% 和 r9 的 71.48%。再看外部对照,r9 的工具与方法选择 88.01%,Microsoft Decision 1 为 75.85%。参数量相同,任务排名仍会换位。筛选、行动选择可先看 Clef,结果检查则应把 StartLux 放进候选。

2. 27B 也没有一个全包的赢家。 Clef 的对象筛选 92.51%、工具与方法选择 85.74%、结果检查 79.75%,都领先另外两个 27B 方案;信息理解则是 Decider 的 82.37%高于 Clef 的 79.32%。上下文保留中,Drex Max 为 85.24%、Decider 为 85.16%,只差一道题,都超过 Clef 的 81.53%。这些差距比一个平均排名更能指导实验:哪里已经领先,哪里还有明确的追赶目标,可以逐类验证。

3. 还要看接口怎样组织同一批问题。 StartLux 用 26 字母读出,本轮工具选择只有 4—5 个候选,处于其范围内。Decider 把材料与多个问题联合编码,Drex Max 逐题编码,问题之间能否相互影响也随之不同。前面 1,745 条效率对照都是单题,比较的是这种调用下的表现;若业务一次要问多个问题,就应另测多题共享材料带来的效率与答案变化。

Takeaway|开展下一轮实验,先定好要追哪类题。

9B 和 27B 组内都出现了明显的强项分工。下一轮内部实验可以直接围绕这些差距组织:保留已经领先的筛选与行动判断,针对信息理解、上下文和报告判断补题、对照,再检查其他类别有没有退步。这样才能知道一次实验究竟改善了哪项业务能力。

4.1 已经按题型挑出了候选模型,也比较了各自服务的等待时间。接下来把镜头移到接入本身:给它什么材料,怎样把概率读成答案,答案又会让 Agent 采取什么动作。

▍4.2 如何解释成绩并使用模型输出

同一个模型,接法不同,成绩也可能不同。下面依次看材料长度、答案读出和错误方向。这三件事决定了离线能力能不能在实际调用中用对。

4.2.1 长度分组中的题型影响

先看一个容易让人误解的结果:12 个模型中,10 个在 2k—8k 字符组准确率最高。分析仍用 4.1.2 的 1,745 条共同输入,其中 <2k 有 531 条,2k—8k 有 897 条,8k—32k 有 317 条。这是否意味着材料控制在中间长度就最好?把题型展开后,情况要复杂得多。

文章原图 17

1. 材料更长,准确率没有一路往上走。 从 <2k、2k—8k 到 8k—32k 字符,Pilot 为 79.47%→85.84%→79.81%,Clef SFT-27B 为 83.24%→86.06%→75.08%,Jev 为 81.17%→83.17%→71.92%,Flash 为 80.04%→82.05%→75.71%。10 个模型都是中间高、两端低;Decider-27B 在短组最高,Drex Max-27B 在长组最高。对接入的启发是,增加材料本身不是目标。更值得试的是在同一道题里补缺失证据、删无关内容,看看哪一种改动真正帮到了判断。

2. 长材料里,9B 赢了 27B,但要看赢在哪里。 Clef SFT-27B 在短、中组领先,到了长组,r9-9B 为 81.39%,27B 为 75.08%。r9 净多答对 20 题,其中 Mission 贡献 21 题,其他任务合计少 1 题。再看长组里的故障类型判断,27B 答对24题,r9只答对 18 题。若把长材料统一交给 r9,就会忽略这个反转。Mission 和故障类型需要分别选型。

3. 同样变长,故障类型与根因实体的成绩却朝相反方向走。 从 2k—8k 到 8k—32k 字符,12 个模型的故障类型判断全部下降,根因实体选择全部上升。Pilot 分别从 70.76% 降至 47.37%、从 81.68% 升至 93.02%;Liquid 从 74.85% 降至 57.89%、从 70.99% 升至 88.37%;Clef SFT-27B 也是这个方向。定位实体和解释故障机制显然不是一回事。接下来该检查的是题目里的证据是否明确、分散在哪些段落、候选有多接近,而不是只给模型贴一个“长上下文能力”的标签。

文章原图 18

Takeaway|先补对证据,再谈上下文长短。

长度分组里,定位根因实体与判断故障机制呈现相反趋势,说明两类任务需要分别看。接入时先检查当前判断缺什么材料,再在同题上比较补证据、删无关信息后的准确率和等待时间。把材料凑长,或统一压到某个长度,都没有回答证据是否够用。

4.2.2 同一响应的答案转换

1. 响应一字没改,模型排名却变了。 本节保留 12 个模型的原始响应,把连续分数取整改成选择概率最高的档位。摘要价值题里,StartLux 从 46 题正确变成 83 题,由低于 Flash 的 66 题变为高于它;Liquid D1 Ultra 从 105 题降至 89 题,Clef SFT 与 Decider 统一读出后都是 99 题。Jev 从 15 题增至 42 题,Decider Flash 从 38 题降至 10 题。这里没有换模型、没有重新推理,变化全在系统怎样使用返回结果。

2. 分档题里,最可能的档位与取整后的分数可能不是同一个。 在 utility_01 中,参考档位 3 表示摘要保留了重要机制、传播事实和有用数值,档位 2 只表示保留了关键实体与主要信号。Jev 给档位 3 的概率 0.37、档位 2 的概率 0.35,连续分数却是2.2。取最高概率选 3,与参考答案一致;把 2.2 取整就选 2。同一份摘要,由此被读成了两种不同的信息保留程度。

3. 读出差异对哪些题影响最大? 114 道摘要价值题里,StartLux、Jev 净增 37 题、27 题,Decider Flash、Fullset、Liquid 净减 28 题、17 题、16 题;65 道工具结果数量分档题里,11 个模型只变动 0—2 题,只有 Decider Flash 增加 7 题。前者判断保留了多少决策信息,后者按可见数量分档,受读出影响的程度不同。价值、充分性这类题尤其应该留下连续分数、各档概率和最终选项,方便查清一次判断是模型错了,还是读法错了。

文章原图 19

Takeaway|接模型时,答案怎么读也要一起测。

同一份响应就能让排名换位,读出规则显然不能留到接入时临时决定。要求选择档位的题用最高概率档位;需要连续排序或阈值判断时,再使用含义明确的 score。评测与线上沿用同一规则,才能把测到的能力真正用起来。

4.2.3 错误方向与内容取舍

1. 78.07% 的准确率,可以一次判断都不做。 114 道摘要价值题里,第 3 档 89 题、第 2 档 23 题、第 1 档 2 题,全选第 3 档就有 78.07%。统一读出后,12 个模型中只有 Clef SFT-27B、Decider-27B、Drex Max-27B 超过这条线,分别答对 99、99、97 题;Liquid 答对 89 题,与固定答案相同。所以还得追问:模型是否认出了那些少见但重要的信息不足摘要?这决定了它能不能帮 Agent 管理上下文。

2. Pilot 总分赢了,Flash 却更会找出信息不足。 Pilot 答对 81 题,Flash 答对 66 题。拆开看,第 3 档是 77 比 51,Pilot 多 26 题;第 2 档是 4 比 15,Pilot 少 11 题,两项相抵才得到总分多 15 题。第 3 档保留了重要机制、传播事实和数值依据,第 2 档只留下关键实体与主要信号。若任务是找出还缺关键机制的摘要,Flash 在这一档的表现更好,总分排名并没有直接给出答案。

3. 错一档之后,Agent 会少看什么? Jev 的 72 道错误全部低估,其中 40 题把第 3 档判成第 2 档、15 题判成第 1 档;Decider Flash 有 100 题低估,其中 28 题从第 3 档降到第 1 档。如果低分意味着删除,就可能丢掉有用证据。Liquid 则有 25 道错误,其中 23 题高估,20 题把第 3 档判成第 4 档。第 4 档意味着“不打开原文,也足以作出相同的下一步因果判断”,据此执行就可能过早停止回读。低估和高估影响的是不同动作,不能只合成一个错误率。

文章原图 20

Takeaway|先想清误判会让 Agent 做什么。

用分数决定删不删内容,要重点查有用证据被低估的情况;用它决定还要不要读原文,要重点查摘要被高估的情况。摘要评分最终要服务于动作选择。把错误方向和执行后果一起看,才能知道哪个模型适合承担这一步。

▍4.3 何时模型组合优于单模型

主模型拿不准时,Flash 能不能帮忙?总分高低并不能直接回答。我们先看哪些置信度区间交出去有收益,再看不同任务里的互补性,最后算按任务单独设阈值是否划算。

这组实验用 14,245 道运维选择题与判断题,将 11 个决策模型分别与固定的 Flash 答案组合:高置信度保留原答案,低于阈值就用 Flash。按案例做五折验证,每轮四折选阈值、一折检验,汇总准确率与回退题数。本节的单模型成绩也在这 14,245 题上计算,和 4.1 完整任务集的成绩分开看。

4.3.1 阈值决定哪些题被交出去

文章原图 21

1. Flash 比 Pilot 低 5.56 个百分点,为什么还值得让它兜底? 在 9,498 道对象与数据筛选题上,Pilot 得 91.70%,Flash 得 86.14%。直接设 0.70 阈值,把 22.59% 的题交给 Flash,组合反而降到 90.55%。但按案例做五折验证后,五个阈值选择折都选中了 0.56:只交出 6.92% 的题,组合升到 92.62%,比 Pilot 净多答对 87 题。各个未参与选阈值的测试折分别净增 8、14、28、21 和 16 题。这里起作用的,是 Flash 恰好能答对一部分 Pilot 不擅长的题。总分低,并不妨碍它在这部分题上帮上忙。

2. 交出去更多题,为什么反而少答对 197 题? 低于 0.56 的 657 题里,Flash 修正 195 题、改错 108 题,净增 87 题;0.56—0.70 的 1,489 题里,修正 185 题、改错 382 题,净损失 197 题。两段合起来,0.70 阈值净少答对 110 题。问题就出在多交出的这段:里面有不少 Pilot 本来会做、Flash 却做错的题。保留它们,少回退 1,489 题,反而多答对 197 题。

Takeaway|回退的价值,看修正是否多于改错。

Pilot 的例子说明,Flash 总分较低仍然可以帮忙,但扩大回退范围也可能把收益吃掉。阈值要在阈值选择案例上按“修正减改错”选择,再用未参与选择的案例检验。把主模型会做的题留下,把 Flash 更擅长的部分交出去,组合才有意义。

4.3.2 哪些任务能获得组合收益

文章原图 22

1. 加了回退,分数涨了,就值得用吗? 先和两个单模型中更强的那个比。11 个决策模型与五类运维判断形成 55 组对照,选阈值后 49 组超过原模型,真正超过较强单模型的是 38 组。Microsoft Decision 1 的信息理解就是一个例子:从 70.54% 升到 80.22%,提高 9.67 个百分点,看起来很不错;但 83.53% 的题已经交给Flash,而直接用 Flash 是 80.87%。对这个任务,我会直接选 Flash。组合的价值,要看它是否答对了单用其中一个模型仍会答错的题。图中把相对原模型、相对较强单模型的增益和回退比例放在一起,就是为了看清这个区别。

2. 两个单模型都没达到的成绩,组合可以做到。 Clef SFT-27B 的行动选择 85.74%,Flash 为 86.71%;只将 20.10% 的题交给 Flash,组合就达到 88.98%,超过较强单模型 2.27 个百分点。Jev 的信息理解 80.78%,接近 Flash 的 80.87%,回退 14.90% 后达到 82.61%。这两组的价值很明确:错误并不完全重合,置信度又能帮助选出该交给另一方的题。

3. 也有任务,保留原答案更好。 Drex Max-27B 的上下文判断 85.25%,高于 Flash 的 80.08%,回退后却降到 84.32%;Clef r9 的行动选择 88.01%,高于 Flash 的 86.71%,回退后降到 86.39%。这两组在测试折上都退步了。接入时可以按任务保留两种模式:互补明确的用组合,独立作答更好的就直接作答。

Takeaway|组合要赢过较强的那个单模型。

只看相对原模型涨了多少,很容易把“大部分题转给更强模型”的效果算成组合优势。真正值得保留的组合,应超过直接使用两者中更强的一个;否则就比较独立作答。不同任务可以采取不同模式,不必给一个模型统一套上回退。

4.3.3 细分回退策略是否值得

一个阈值管全部任务,还是每类单独选?继续用相同 14,245 道题、同一批答案和五折验证:全局策略每个模型选一个阈值,分类策略为五类运维判断分别选。除了准确率,我们还看这种细分多交出了多少题。

文章原图 23

1. 同样多答对 57 题,背后的开销方向却相反。 Pilot 从 88.85% 升到 89.25%,回退量从 1,217 增到 1,957,多 740 题;Microsoft Decision 1 从 85.10% 升到85.50%,回退量从 6,090 降到 5,078,少 1,012 题。对 Pilot,是多调用 Flash 换来准确率;对 Decision 1,则是题答得更准、回退也更少。按任务拆阈值改变的是交出去的题目组成,不只是回退量大小。

2. 多一层策略,要看多换来了什么。 11 个模型里 9 个准确率提高、2 个略降。Clef SFT-27B 从 88.87% 到 89.20%,多答对 46 题,增加 477 题回退;Clef r9 多答对 67 题,增加 1,097 题回退。Fullset 增加 350 题回退却只多答对 1 题,Drex 增加 400 题回退反而少答对 2 题。前两组有明确的准确率增量,后两组保留全局阈值更合适。这里统计回退题数,实际耗时与 Token 还要按请求组织来算。

Takeaway|阈值拆得更细,也要算投入产出。

分类策略有时多答对题,有时还能减少回退,Decision 1 就同时获得了这两项收益。也有模型增加了调用却几乎没有进步。先把净增正确题和回退量放在一起,再核对实际耗时与 Token,才知道这层策略值不值得留。

▍4.4 决策模型接入 RCA Agent 后的效果

单步更准、更快,整场 RCA 就一定更好吗?现在把模型放回 Agent:主调查模型不变,三个决策模型分别接入五个位置,用同一批 RCA 题比较评分、耗时和 Token,再回到每道题的轨迹里找原因。

4.4.1 实验设置:每次只改变一个接入位置

案例仍是第一章的 10 题,覆盖 Full GC、镜像拉取、容器 OOM、CPU 限流、数据库缺失索引、缓存异常和组件升级。主调查、子调查都用 DeepSeek v4.1 Flash,决策位置分别用 Microsoft Decision 1、Clef Pilot、Clef 27B(前文 Clef SFT-27B)。A 是原始流程,B、C、D、E、F 各自从头跑完整调查,每组只引入自己的改动。

文章原图 24

C 和 D 分别放在调查的两个时点:C 决定开始时怎样分派任务,D 判断进行中要不要换路径。D 读取原始指令和最近 8 条消息,在继续、交回重规划、弃权中选择,每个子调查最多判断 3 次;达到原概率阈值才把已有证据和未解决问题交回主Agent。本轮 Pilot 有 5 次、27B 有 4 次选择交回,均未达到执行阈值,表中记录的是 D 完整配置的成绩。

4.4.2 哪些接入能兼顾质量与开销

先记住原始流程 A:81.10 分、21.49 分钟、每题 12.892M Token。下表每格依次是评分/分钟/Token(M),保留完整数值;图中把它们换成相对 A 的变化,方便看提分要付出多少开销。

接入位置Decision 1Clef PilotClef 27B
B 对象与数据源77.50 / 21.02 / 12.67673.00 / 21.71 / 11.77772.35 / 22.36 / 13.249
C 任务分派87.50 / 23.56 / 12.43980.00 / 21.19 / 12.49976.50 / 23.19 / 12.575
D 进展与重规划81.20 / 18.42 / 13.29774.60 / 28.63 / 12.51188.30 / 22.25 / 12.876
E 上下文管理71.23 / 31.65 / 14.45582.70 / 21.66 / 13.85477.20 / 20.93 / 13.464
F 根因校验76.45 / 18.91 / 13.70783.50 / 20.63 / 11.86871.80 / 27.09 / 12.845

文章原图 25

1. 接入位置一换,领先模型也跟着换。 任务分派 C 是 Decision 1 领先,上下文管理 E 是 Pilot 领先,进展判断 D 则由 27B 拿到最高均分 88.30;对象选择 B 里,三个模型都没超过原始流程 A。对 B,现阶段保留 A 更合适;其他位置再比较分数和开销。这也回答了离线选型之后的那个问题:知道模型擅长什么,还要看这项能力放进完整调查后留下了多少收益。

2. 提分要多等多久,三组配置给出了不同答案。 Decision 1 C 提高 6.40 分、耗时增加 9.6%;27B D 提高 7.20 分、耗时增加 3.5%。若优先追求诊断质量,这两组值得继续验证。Pilot F 提高 2.40 分,耗时还缩短 4.0%,增分虽然少一些,却没有增加等待。对于既希望提高质量、又不希望排障变慢的接入目标,Pilot F 是一个更直接的起点。

3. 跑得快,Token 不一定少。 Decision 1 D 的均分与 A 基本持平,耗时减少 14.3%,Token 却增加 3.1%;Pilot E 提高 1.60 分、耗时基本持平,已记录 Token 至少增加 7.5%。这两组说明等待时间和模型用量需要分别算。选配置时,把分数、分钟和 Token 摆在一起,才能看清自己到底换来了什么。

Takeaway|选型的单位,是模型加接入位置。

这 10 题里,质量优先可以看 Decision 1 任务分派、27B 进展判断配置;希望提分的同时缩短调查时间,可以看 Pilot 根因校验。对象选择暂时保留原流程。离线排名帮我们缩小候选,完整 RCA 则决定哪种搭配值得继续投入,Token 开销也要一起带入这个选择。

4.4.3 逐题展开:平均提升来自哪里

文章原图 26

1. 分数提高,报告里具体多查清了什么? largeValue 读取题中,Decision 1 C 把“内存增加、Key 数不变”与“Redis 出向、Pod 入向流量同步变化”连起来,解释了 GET 为什么变慢、SET 为什么正常。bigKey 同步删除题中,两版都识别了同步删除阻塞,C 进一步找到了发起删除的维护 Pod。前者补上故障机制,后者定位到具体对象;这些才是评分提高之后,对排障真正有用的增量。

2. 最高均分,主要由哪道题拉起来? 27B D 的 10 题是 5 题提高、4 题持平、1 题下降,均分提高 7.20 分,其中 largeValue 贡献 6.50 分,其余 9 题合计 0.70 分;缓存列表增长保持 97 分。Decision 1 C 也在 largeValue 和 bigKey 上提分,列表增长却比 A 低 68 分。均分告诉我们整体变化,逐题结果告诉我们它修好了哪里、又退步在哪里。继续选配置时,两层都要看。

3. 列表增长题差的,是从异常追到具体工作负载这一步。 Decision 1 C 已经确认大量写入造成内存增长,还需要查清具体 List 和 LPUSH 链路;Pilot E、F 已经找到 List 增长和写入客户端 IP,还需要对应到 Pod/Job。问题没有停在“是否存在异常”,而是停在“谁发起了这次异常行为”。这段关联就是下一轮可以直接补的地方。

Takeaway|下一步,沿着证据把责任对象找出来。

列表增长题给出了一个明确的改进目标:把 List、LPUSH、客户端 IP 继续关联到具体 Pod/Job。用同题检查这段证据补齐后报告是否更完整、分数是否提高,就能判断这次改动是否有效。这样的轨迹分析也能把一次 RCA 的失分,变成下一轮决策模型与 Agent 的具体任务。

相关工作

回看近期研究,很多问题与这轮实验相通:省去生成之后能判断多复杂的问题,返回概率能不能直接用,候选和材料怎样组织才容易选对。下面按这几个问题梳理公开预印本和厂商资料。

▍5.1 决策模型的能力与效率

先看不生成推理过程能做到什么。《To Jev or Not to Jev》比较 14 个决策模型、4 个生成式评价模型和 11 个评价基准,给出预先生成的参考答案后,11 个决策模型在 JudgeBench 达到 90.3%—93.4%。《AbductionBench》则发现,简短证据下选择解释,Jev 能接近或超过小型 LLM,较长案例上却落后。两者放在一起看,给定依据后核对、整合复杂证据、推导新解释,是需要分别测的能力。

论文:

arxiv.org/abs/2611.00…

arxiv.org/abs/2611.10…

效率收益从哪里来?《TrialJev》用相同训练数据比较单次前向判断与生成结论,在 9B—27B 配置中,后者耗时是前者的 2.45—2.70 倍;A/B 标签读出的消融也指向减少自回归生成这一来源。这与本文同时比较准确率、服务耗时和调用方式的做法相呼应:不仅看判断是否正确,也看得到这个判断要付出多少等待。

论文:arxiv.org/abs/2611.10…

通用榜单能不能帮我们选模型?《To Jev or Not to Jev》报告,两个不含评价任务的通用榜单与评价准确率相关系数为 0.95—0.96,说明它们有参考价值。但《Evaluating Jev on Arabic》在 43 项任务、9 个任务族中看到,版本收益会随任务族、语言变体变化。本文继续把问题落到运维:通用优势能延续到哪些判断,哪些类别又会换一个领先模型?

论文:arxiv.org/abs/2611.10…

▍5.2 置信度校准与回退

再看概率。《Beyond Ranking》把排序效果和概率校准分开评价:TREC DL21 中,Jev 给出超过 0.9 相关概率的样本,只有 66% 被人工标为相关。独立数据校准后,Brier 误差从 0.213 降到 0.147,概率还能用于决定每个查询保留多少文档。排序好、概率可直接用,是两个需要分别检查的问题;后者决定了它能否可靠地参与下一步处理。

论文:arxiv.org/html/2611.1…

《Can the Confidence and Decisions of System 1 Models Be Trusted?》审计五个开源 Jev 式模型,发现 confidence 可能由分布熵或归一化间隔计算,数值要结合实际正确率理解。因此本文没有停在一个 0.70 阈值上,而是检查低置信度能否找出错题、同样回退比例下哪个组合更准,再比较固定阈值与分组验证选出的阈值。

论文:arxiv.org/html/2611.1…

▍5.3 输入组织与判断稳定性

候选里有没有正确答案,影响可能非常大。《When the Right Answer Is Missing》中,配对算术题有正确候选时 Jev 准确率 99%;移除正确答案后,即使给出“以上都不是”,正确拒绝率也只有 7%。改成原生 Boolean 核验,同类答案缺失题达到 99%。《Cross-Primitive Consistency in Jev》则用相同语义在不同判断形式下的不一致识别错误,报告 ROC-AUC 为 0.91。接入时怎样出题、怎样构造候选,需要和模型一起验证。

论文:

arxiv.org/abs/2609.39…

arxiv.org/abs/2610.38…

问题合并与候选构造同样值得单独看。五模型审计的 900 条样本中,单独问与合并问让 Tev1-0.8B 的 11.7% Boolean 答案发生变化,Tev1-4B 约为 0.1%。《Learning to Formalize》在 200 个 CALVIN-D 测试片段里,用通用动作候选时 Jev 成功率 11%,换成模型生成的姿态候选后达到 46.5%。这些差异说明,组织问题与材料并不是接完接口就结束的工作,本身就有值得做的实验。

论文:

arxiv.org/abs/2610.36…

arxiv.org/html/2611.1…

结论

1. 高频判断,已经值得交给专用模型试一试。 对象筛选、证据理解、行动选择、上下文管理和结果检查,都有能明确给出材料与候选的部分。模型直接返回选择和概率,省去逐字生成答案的过程;共同单题对照中的 Pilot 已经同时做到更准、更快。对 AgenticOps,接入可以从这些具体步骤开始:主模型继续展开调查,专用模型承担自己擅长的判断。

2. 从离线成绩到 RCA 效果,中间还有接入方式这一步。 离线评测先找强项,输入与读出实验检查能力怎样被使用,回退实验再判断两个模型是否互补。到了完整 RCA,Decision 1 任务分派、27B 进展判断配置拿到较高分数,Pilot 根因校验兼顾提分与提速。最后要留下的,是在某个位置上确实改善了整场调查、开销也合适的配置。

3. 改进最终要落到一次具体故障上。 缓存列表增长已经查到异常写入,下一步就是把 List、LPUSH 和客户端 IP 追到 Pod/Job。把这段证据补齐,再用同题评分检验,比笼统要求模型“更会推理”更容易推进。离线题找到模型强项,完整调查暴露问题,轨迹再变成下一轮实验和回归任务。我们继续推进 Agent RSI,也从这些能查清、能验证的问题开始,让每一次判断少留一个疑点,让排障更快找到可以处理的原因。

模型依据与版本记录:

[S1] 团队 EAS 模型服务接入指南(含 Pilot、r9、27B、StartLux-style C)

alidocs.dingtalk.com/i/nodes/N7d…

[S2] Cloudflare Clef-Flash 模型卡

huggingface.co/Cloudflare/…

[S3] Perplexity Decider v1.2 模型卡

huggingface.co/perplexity-…

[S4] Decider Flash v1.2 发布清单

huggingface.co/perplexity-…

[S5] Drex 论文:Max 架构与训练

arxiv.org/html/2611.0…

[S6] Microsoft Decision 1 官方介绍

commandline.microsoft.com/microsoft-d…

[S7] Liquid D1 Ultra 官方介绍

www.liquid.ai/blog/d1-ult…

[S8] TypeSafe Jev 技术介绍:

typesafe.ai/blog/introd…

相关链接:

[1] STAROps

www.aliyun.com/product/sta…

[2] rca-benchmark

sls.aliyun.com/doc/playgro…

[3] Brise

vibeeva.taobao.net/