系列《AI 应用生产化手册》第 18 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/… 本篇是模块四(成本与网关)收官:成本模型 → 缓存 → 路由 → 网关 → 厂商可移植,五件套齐了
一、先看问题:三个"如果"
C04 把网关立起来了,但架构上还留着三个没答案的问题:
- "明天 DeepSeek 涨价 3 倍,你怎么办?" —— 答不上来就是被单一供应商卡住脖子。
- "换供应商要改多少代码?" —— 如果模型串散落在业务代码里,这是一场灾难。
- "多模型 ≠ 随便换" —— 切过去质量掉没掉,谁说了算?
解法:多模型架构 + 厂商可移植性。应用只认逻辑名,供应商映射全部收进网关配置;换供应商 = 改配置 + 跑评测回归。
核心认知:厂商锁定不是技术问题,是架构问题。真正的"供应商无关"只有一条验收标准——业务代码里搜不到任何供应商的名字。多模型不是"多配一把钥匙",是"随时能换锁的体系"。
二、原理
2.1 多模型策略的三重价值
| 价值 | 说明 |
|---|---|
| 降本 | 多供应商比价、按需路由(C03 的便宜档可以来自不同家) |
| 容灾 | 一家挂了或限流,另一家顶上(R04 降级链的供应商级实现) |
| 谈判筹码 | 不依赖单一供应商,价格话语权在自己手里 |
第三条最容易被忽略,但它是真金白银——能换,才谈得上议价。
2.2 三层解耦(本系列的核心架构主张)
应用层:只出现逻辑名(chat-strong / chat-cheap) ← 零供应商痕迹
↓
网关层:逻辑名 → 供应商模型(litellm_config.yaml) ← 供应商只出现在这一层
↓
供应商:DeepSeek / OpenAI / ...
三条可自动化的验收标准:
vendor_switch.py check:应用引用的逻辑名,网关里全都存在vendor_switch.py check --scan-app app/:应用代码零供应商硬编码vendor_switch.py simulate:切换演练只涉及网关配置,应用零改动
第 2 条是这套架构唯一没有"解释空间"的指标——0 处就是 0 处。
2.3 三个"如果"的推演
场景 A:主力供应商涨价
→ 改网关配置:chat-strong 指向另一家同档模型
→ 跑评测回归:不达标就换下一家(或接受降档)
→ 应用零改动
场景 B:供应商下线 / 断供
→ 网关 fallback 自动切备用(C04 的 chat-cheap 顶上)
→ 应用侧还有 R04 降级链兜底
→ 从容迁移,不用救火
场景 C:新增一家更便宜的
→ 网关加一个 model 条目(chat-strong-alt 已演示)
→ 评测跑通后灰度放量(R02)→ A/B 对比(R03)
推演的结论值得记住:每一个"如果",都对应一个早就建好的模块(网关 / 降级 / 评测 / 灰度)——这就是体系的价值,不是临时救火。
2.4 切换的质量门槛(最重要的纪律)
换供应商 ≠ 只改配置。 必须走完整链路:
① 网关切模型(改配置)
② 用黄金集跑评测(run_evals)
③ 通过率 ≥ 阈值(基线 + 容差,E04 门禁)
④ 灰度放量(R02)→ A/B(R03)→ 全量
没有评测的切换,等于拿线上用户当测试集。 新模型再强,"在你这套提示词 + 你的业务场景下强不强",只有评测知道。
三、动手:三条命令验证"可移植性"
3.1 当前映射
cd demo && source .venv/bin/activate
python scripts/vendor_switch.py mapping
真实输出:
chat-cheap → deepseek/deepseek-chat
chat-strong → deepseek/deepseek-chat
chat-strong-alt → openai/gpt-4o
这里顺带一个真实细节:仓库文档里早期写的是 chat-cheap → openai/gpt-4o-mini,而配置后来改成了 DeepSeek(为了用一个 Key 跑通全链路)。文档会漂移,配置是唯一事实来源——所以这三条命令要进 CI,而不是靠人记。
3.2 一致性 + 硬编码扫描
python scripts/vendor_switch.py check --scan-app app/
真实输出:
应用引用的逻辑名: chat-cheap, chat-strong
网关暴露的模型 : chat-cheap, chat-strong, chat-strong-alt
一致性 ✓ 应用与网关模型名对齐(供应商无关)
供应商硬编码扫描 app/: 0 处 ✓(供应商只在网关配置里)
"0 处"这句是本篇唯一需要记住的数字。 它证明业务代码里没有任何 deepseek/...、openai/... 这样的串——换供应商时不用 grep 一遍代码。
3.3 切换演练
python scripts/vendor_switch.py simulate --from-provider deepseek --to-model openai/gpt-4o
真实输出:
演练:deepseek → openai/gpt-4o
chat-cheap: deepseek/deepseek-chat → openai/gpt-4o
chat-strong: deepseek/deepseek-chat → openai/gpt-4o
影响: 应用零改动(只认逻辑名)
注意它把两个逻辑名一起改了——因为当前 chat-cheap 和 chat-strong 都指向 DeepSeek。这正是一次性迁移的真实形态:换供应商时,你改的是"映射表",不是"一堆调用点"。
3.4 真实切换(有 Key + 网关运行中)
cp gateway/litellm_config.yaml gateway/litellm_config.yaml.bak # 先备份,回滚用
# 改 chat-strong 的 litellm_params.model
docker compose restart litellm
python scripts/gateway_check.py # 确认配置加载
python evals/run_evals.py # 评测回归:通过率对比切换前
通过 → 灰度放量;不通过 → 恢复 .bak 重启,回到原供应商。
3.5 单元验证
pytest tests/test_vendor_switch.py -q
# 6 passed in 0.09s
覆盖 6 项:真实配置的映射读取、应用与网关一致性、缺失模型能检出、应用零硬编码扫描、切换模拟、未知供应商不改动。
四、真实踩坑
- 模型串硬编码进业务代码——
model="deepseek/deepseek-chat"散落各处,换供应商=重构;扫描工具必须进 CI - 只有一个供应商——没有备用、没有 alt 条目,"唯一的供应商"就是最大的单点
- 切换不跑评测——改配置直接上,用户先发现质量掉了
- 把 SDK 当锁定——导入 OpenAI SDK 不算锁定(它是事实标准 API);真正的锁定是"供应商模型名 / 端点出现在业务代码里"
- 多模型但没监控——不知道流量在各家怎么分布,也就不知道谈判筹码有多大
- 换完没有回滚预案——新供应商出问题手忙脚乱;旧配置备份 + 降级链必须待命
五、模块四小结(成本与网关 5 篇收官)
| 篇 | 解决的问题 | 核心交付 |
|---|---|---|
| C01 | 花了多少钱不知道 | 成本模型 + 每请求成本 + 预算告警 |
| C02 | 同样的钱花了很多遍 | 精确缓存 + key 三要素 + 命中率统计 |
| C03 | 简单问题也喂贵模型 | 规则路由 + 接管清单实验 |
| C04 | 供应商写死在应用里 | LiteLLM 网关 + 虚拟 Key + 成本落库 |
| C05 | 被单一供应商卡脖子 | 三层解耦 + 零硬编码 + 切换演练 |
一条主线:把"花多少钱"从月底账单,变成可以实时看、可以主动降、可以随时换的工程指标。
下一篇(S01):进入模块五《安全护栏》,第一篇《威胁模型》——AI 应用到底暴露了哪些攻击面,OWASP Top 10 for LLM 怎么落到你的架构图上。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。