企业接入多个大模型后,可以通过模型网关统一管理供应商、访问凭据、默认模型和路由策略。Agent 与 Workflow 调用一个稳定入口,具体使用哪个模型由配置决定。模型发生切换时,还要检查输出结构、工具调用、延迟和失败处理,避免业务流程跟着接口变化反复修改。
ZGI 在 Agent Runtime 工作区中组织模型路由、知识、Skills、Workflow 和运行管理。模型供应商、默认设置、凭据、策略与价格元数据可以集中维护,Agent 应用和工作流按照批准的配置调用模型,减少各项目分别保存接口信息的情况。
多模型接入为什么容易失控
早期项目通常直接在代码或流程节点里填写模型地址、密钥和名称。项目数量增加后,同一家供应商可能出现多套配置,凭据更换需要逐个修改,团队也难以确认哪些流程还在调用旧模型。模型名称相同,区域、版本和参数仍可能不同,排查问题时容易遗漏真实调用入口。
切换模型还会影响业务结果。一个模型稳定返回 JSON,另一个模型可能夹带解释文字;一个模型能够正确生成工具参数,另一个模型对日期或枚举字段的处理不同。接口调用成功只说明请求完成,无法说明下游节点还能正常读取结果。
| 管理对象 | 分散接入时的问题 | 统一后的检查重点 |
|---|---|---|
| 供应商 | 项目各自维护地址和模型名 | 统一登记可用范围 |
| 凭据 | 密钥散落在代码和节点中 | 集中保存并限制使用范围 |
| 路由 | 切换逻辑写进业务流程 | 按任务和策略选择模型 |
| 输出 | 不同模型格式存在差异 | 使用结构约束和验收样本 |
| 记录 | 很难还原真实调用对象 | 保存模型、状态和任务关联 |
路由规则要围绕任务建立
路由不宜只按模型热度或单次价格决定。摘要、结构化抽取、长文分析、代码处理和工具参数生成,对上下文长度、输出格式与推理能力的要求不同。团队可以先列出任务类型,再为每类任务设置首选模型、备用模型、超时条件和允许的供应商范围。
涉及敏感资料时,还要把数据范围放进路由条件。某些任务只能调用企业批准的部署方式,某些公开内容可以使用外部服务。模型网关负责执行配置,数据分类和调用边界仍需由企业明确。
切换模型前先固定输入输出
稳定入口解决接入问题,业务稳定还依赖输入输出契约。发送给模型的字段、系统指令和上下文来源应保持明确;返回结果中的字段名称、类型、必填项和异常格式也要能够验证。解析失败时,流程需要停在当前步骤或进入修复分支,不能把不完整结果直接传给数据库和外部工具。
模型切换前可以准备一组真实任务样本,覆盖正常输入、缺少字段、长文本、工具调用和异常返回。新旧模型分别运行后,比较业务字段和最终任务结果。评测重点放在流程能否继续执行,不以回答看起来更流畅作为唯一标准。
运行记录用于定位变化
当同一项任务前后结果不同,记录需要说明调用了哪个供应商、模型和配置,是否发生重试或备用路由,以及下游解析是否成功。日志中不应保存完整密钥,敏感正文也要按企业规则处理。
在 ZGI 中,团队可以先为一个 Workflow 配置固定模型,再增加备用路由和失败分支。确认真实样本能够稳定通过后,再扩大到更多 Agent 和任务。这样模型可以替换,业务流程仍保留清楚的调用边界和验收方法。
GitHub:github.com/zgiai/zgi
Gitee:gitee.com/zgiai/zgi