如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)

6 阅读6分钟

系列《AI 应用生产化手册》第 18 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/… 本篇是模块四(成本与网关)收官:成本模型 → 缓存 → 路由 → 网关 → 厂商可移植,五件套齐了

一、先看问题:三个"如果"

C04 把网关立起来了,但架构上还留着三个没答案的问题:

  1. "明天 DeepSeek 涨价 3 倍,你怎么办?" —— 答不上来就是被单一供应商卡住脖子。
  2. "换供应商要改多少代码?" —— 如果模型串散落在业务代码里,这是一场灾难。
  3. "多模型 ≠ 随便换" —— 切过去质量掉没掉,谁说了算?

解法:多模型架构 + 厂商可移植性。应用只认逻辑名,供应商映射全部收进网关配置;换供应商 = 改配置 + 跑评测回归。

核心认知:厂商锁定不是技术问题,是架构问题。真正的"供应商无关"只有一条验收标准——业务代码里搜不到任何供应商的名字。多模型不是"多配一把钥匙",是"随时能换锁的体系"。

二、原理

2.1 多模型策略的三重价值

价值说明
降本多供应商比价、按需路由(C03 的便宜档可以来自不同家)
容灾一家挂了或限流,另一家顶上(R04 降级链的供应商级实现)
谈判筹码不依赖单一供应商,价格话语权在自己手里

第三条最容易被忽略,但它是真金白银——能换,才谈得上议价。

2.2 三层解耦(本系列的核心架构主张)

应用层:只出现逻辑名(chat-strong / chat-cheap)      ← 零供应商痕迹
   ↓
网关层:逻辑名 → 供应商模型(litellm_config.yaml)     ← 供应商只出现在这一层
   ↓
供应商:DeepSeek / OpenAI / ...

三条可自动化的验收标准:

  1. vendor_switch.py check:应用引用的逻辑名,网关里全都存在
  2. vendor_switch.py check --scan-app app/:应用代码零供应商硬编码
  3. vendor_switch.py simulate:切换演练只涉及网关配置,应用零改动

第 2 条是这套架构唯一没有"解释空间"的指标——0 处就是 0 处。

2.3 三个"如果"的推演

场景 A:主力供应商涨价
  → 改网关配置:chat-strong 指向另一家同档模型
  → 跑评测回归:不达标就换下一家(或接受降档)
  → 应用零改动

场景 B:供应商下线 / 断供
  → 网关 fallback 自动切备用(C04 的 chat-cheap 顶上)
  → 应用侧还有 R04 降级链兜底
  → 从容迁移,不用救火

场景 C:新增一家更便宜的
  → 网关加一个 model 条目(chat-strong-alt 已演示)
  → 评测跑通后灰度放量(R02)→ A/B 对比(R03)

推演的结论值得记住:每一个"如果",都对应一个早就建好的模块(网关 / 降级 / 评测 / 灰度)——这就是体系的价值,不是临时救火。

2.4 切换的质量门槛(最重要的纪律)

换供应商 ≠ 只改配置。 必须走完整链路:

① 网关切模型(改配置)
② 用黄金集跑评测(run_evals)
③ 通过率 ≥ 阈值(基线 + 容差,E04 门禁)
④ 灰度放量(R02)→ A/B(R03)→ 全量

没有评测的切换,等于拿线上用户当测试集。 新模型再强,"在你这套提示词 + 你的业务场景下强不强",只有评测知道。

三、动手:三条命令验证"可移植性"

3.1 当前映射

cd demo && source .venv/bin/activate
python scripts/vendor_switch.py mapping

真实输出:

  chat-cheap → deepseek/deepseek-chat
  chat-strong → deepseek/deepseek-chat
  chat-strong-alt → openai/gpt-4o

这里顺带一个真实细节:仓库文档里早期写的是 chat-cheap → openai/gpt-4o-mini,而配置后来改成了 DeepSeek(为了用一个 Key 跑通全链路)。文档会漂移,配置是唯一事实来源——所以这三条命令要进 CI,而不是靠人记。

3.2 一致性 + 硬编码扫描

python scripts/vendor_switch.py check --scan-app app/

真实输出:

应用引用的逻辑名: chat-cheap, chat-strong
网关暴露的模型  : chat-cheap, chat-strong, chat-strong-alt
一致性 ✓ 应用与网关模型名对齐(供应商无关)
供应商硬编码扫描 app/: 0 处 ✓(供应商只在网关配置里)

"0 处"这句是本篇唯一需要记住的数字。 它证明业务代码里没有任何 deepseek/...、openai/... 这样的串——换供应商时不用 grep 一遍代码。

3.3 切换演练

python scripts/vendor_switch.py simulate --from-provider deepseek --to-model openai/gpt-4o

真实输出:

演练:deepseek → openai/gpt-4o
  chat-cheap: deepseek/deepseek-chat → openai/gpt-4o
  chat-strong: deepseek/deepseek-chat → openai/gpt-4o
影响: 应用零改动(只认逻辑名)

注意它把两个逻辑名一起改了——因为当前 chat-cheap 和 chat-strong 都指向 DeepSeek。这正是一次性迁移的真实形态:换供应商时,你改的是"映射表",不是"一堆调用点"。

3.4 真实切换(有 Key + 网关运行中)

cp gateway/litellm_config.yaml gateway/litellm_config.yaml.bak   # 先备份,回滚用
# 改 chat-strong 的 litellm_params.model
docker compose restart litellm
python scripts/gateway_check.py        # 确认配置加载
python evals/run_evals.py              # 评测回归:通过率对比切换前

通过 → 灰度放量;不通过 → 恢复 .bak 重启,回到原供应商。

3.5 单元验证

pytest tests/test_vendor_switch.py -q
# 6 passed in 0.09s

覆盖 6 项:真实配置的映射读取、应用与网关一致性、缺失模型能检出、应用零硬编码扫描、切换模拟、未知供应商不改动。

四、真实踩坑

  1. 模型串硬编码进业务代码——model="deepseek/deepseek-chat" 散落各处,换供应商=重构;扫描工具必须进 CI
  2. 只有一个供应商——没有备用、没有 alt 条目,"唯一的供应商"就是最大的单点
  3. 切换不跑评测——改配置直接上,用户先发现质量掉了
  4. 把 SDK 当锁定——导入 OpenAI SDK 不算锁定(它是事实标准 API);真正的锁定是"供应商模型名 / 端点出现在业务代码里"
  5. 多模型但没监控——不知道流量在各家怎么分布,也就不知道谈判筹码有多大
  6. 换完没有回滚预案——新供应商出问题手忙脚乱;旧配置备份 + 降级链必须待命

五、模块四小结(成本与网关 5 篇收官)

篇解决的问题核心交付
C01花了多少钱不知道成本模型 + 每请求成本 + 预算告警
C02同样的钱花了很多遍精确缓存 + key 三要素 + 命中率统计
C03简单问题也喂贵模型规则路由 + 接管清单实验
C04供应商写死在应用里LiteLLM 网关 + 虚拟 Key + 成本落库
C05被单一供应商卡脖子三层解耦 + 零硬编码 + 切换演练

一条主线:把"花多少钱"从月底账单,变成可以实时看、可以主动降、可以随时换的工程指标。

下一篇(S01):进入模块五《安全护栏》,第一篇《威胁模型》——AI 应用到底暴露了哪些攻击面,OWASP Top 10 for LLM 怎么落到你的架构图上。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。