换供应商要改一遍代码?把模型接入收进一层网关(C04)

0 阅读6分钟

系列《AI 应用生产化手册》第 17 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/… 本篇是模块四(成本与网关)第 4 篇:C01 算钱、C02 省钱、C03 分流,C04 把这三件事从业务代码里挪出来

一、先看问题:优化做了,痛点还在

C01–C03 都在应用侧做文章,但你会陆续撞上三堵墙:

  1. 应用直连供应商 = 换供应商要改代码——从 DeepSeek 换到 OpenAI,每个调用点都得动一遍,还容易漏。
  2. Key 散落各处——每个服务一把供应商 Key。泄露了你不知道是谁泄的,也没法只吊销那一个。
  3. fallback / 限流 / 成本统计每个应用各写一套——重复造轮子,而且每套实现都不一样,对账根本对不上。

解法:AI 网关。在应用和供应商之间加一层,统一模型名、集中管 Key、统一做 fallback 和限流、把成本落到库里。

核心认知:网关是"供应商无关"的第一层实现,也是 Key 安全和成本追踪的集中点。应用只认逻辑模型名(chat-strong / chat-cheap),供应商怎么变都不动业务代码。

二、原理

2.1 网关站在哪

应用(只认逻辑名 chat-strong / chat-cheap)
        │
        ▼
   AI 网关(LiteLLM)
   ├── 模型路由:逻辑名 → 真实供应商模型
   ├── Key 池:虚拟 Key 管理 / 按 Key 限流 / 单独吊销
   ├── fallback:主力失败自动切备用
   ├── 限流:rpm/tpm/并发上限
   └── 成本追踪:spend 落库
        │
        ▼
   供应商(DeepSeek / OpenAI / ...)

2.2 应用内直连 vs 网关

应用内直连网关
换供应商改代码改配置(C05 可移植性的基础)
Key 管理各应用一把集中虚拟 Key,可单独吊销
fallback / 限流每个应用各写一遍网关统一
成本统计各自打日志自己算网关 spend 落库

2.3 五能力对照(本 demo 真实配置)

能力配置项验证方式
统一模型名model_list(chat-strong → deepseek/deepseek-chat)[2/4] /v1/models
虚拟 Keygeneral_settings.master_key + PostgreSQL[3/4] /key/generate + /key/delete
fallbacklitellm_params.fallbacks: ["chat-cheap"]配置层(真实触发需 API Key)
限流router_settings.max_parallel_requests: 10配置层
成本追踪general_settings.database_url(PostgreSQL)[4/4] /spend/logs

2.4 网关怎么选

网关定位优势短板
LiteLLM(本篇)开源自托管代理OpenAI 兼容、100+ 供应商、fallback/Key/成本内建界面弱(以 API 为主)
Portkey托管网关UI 友好、A/B 内建托管费用
Helicone观测为主成本/延迟分析强路由/fallback 弱

选型逻辑:开源自托管先把原理学明白(LiteLLM),团队大了再评估托管。网关不是越强越好,是"够用 + 可控"。

2.5 一个硬约束:必须 PostgreSQL

第一版我图省事把 database_url 配成了 SQLite,网关直接不启动:

LiteLLM Proxy: DATABASE_URL uses unsupported scheme 'sqlite'.
LiteLLM's database features (virtual keys, spend tracking) require PostgreSQL.

虚拟 Key 和成本追踪只认 PostgreSQL。 解决方式是复用 compose 里已有的 postgres 容器,单独建一个库(别和 Langfuse 混用):

docker compose exec postgres psql -U postgres -c "CREATE DATABASE litellm;"

三、动手

3.1 起网关

cd demo
docker compose exec postgres psql -U postgres -c "CREATE DATABASE litellm;"   # 首次
docker compose up -d litellm

3.2 四项验证(真实容器记录)

python scripts/gateway_check.py

本项目真实容器验证摘录(2026-11):

[1/4] health: 200 "I'm alive!" → OK
[2/4] models (3): chat-cheap, chat-strong, chat-strong-alt
[3/4] key/generate: OK(虚拟 Key 已生成,随即 key/delete 清理)
[4/4] spend/logs: OK(0 条记录;有真实调用后这里会累计成本)
OK ✓ LiteLLM 网关就绪

四步分别对应四件事,缺一个都不算通:

  1. 健康——/health/liveliness 返回的是纯文本 "I'm alive!",不是 JSON(第一次验证就是被这个坑了一下)
  2. 模型加载——/v1/models 里必须能看到三个逻辑名,少一个说明 YAML 没加载对
  3. 虚拟 Key——创建并立刻删除,证明 Key 管理面可用。注意创建出来的 Key 是真实有效的,验证完要删
  4. 成本追踪——/spend/logs 能返回(0 条也算通)。有真实调用后这里会涨,此时才谈得上和 C01 的成本模型对账

3.3 虚拟 Key 演练(网关最值钱的能力)

1. /key/generate 创建一把"测试环境"专用 Key
2. 用它调网关(权限/预算只在这把 Key 上生效)
3. 测试环境泄露 → /key/delete 单独吊销
4. 生产 Key 完全不受影响

对比一下:没有网关时,一把供应商 Key 泄露 = 所有服务一起暴露,你只能全部轮换。有网关 = 每环境一把、可单独吊销、可单独限额。

3.4 配置逐行看(这几行最关键)

model_list:
  - model_name: chat-strong                 # 应用只认这个名字
    litellm_params:
      model: deepseek/deepseek-chat         # 换供应商只改这一行
      api_key: os.environ/DEEPSEEK_API_KEY  # Key 不落配置文件
      fallbacks: ["chat-cheap"]             # 网关层兜底(应用层是 R04 的降级链)

litellm_settings:
  num_retries: 2                            # 瞬时故障自动重试(A01 的网关侧实现)
  request_timeout: 60

router_settings:
  max_parallel_requests: 10                 # 全局并发上限,防打爆上游

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
  database_url: "postgresql://.../litellm"  # 没有它,虚拟 Key 和成本追踪都不工作

注意 fallbacks 的落点:它在 litellm_params 里,不在 litellm_settings 里——两种写法的官方文档都出现过,写错位置不报错,只是不生效,这种坑最难查。

四、真实踩坑

  1. 拿 SQLite 当 database_url——虚拟 Key / 成本追踪只支持 PostgreSQL,直接启动失败(实测报错)
  2. master key 泄露——它是所有虚拟 Key 的父权限,等于通行证;生产必须强随机 + 不进代码库
  3. fallback 配错层——写在 litellm_settings 里不报错也不生效,只能靠验证脚本兜
  4. 限流不配——没有 max_parallel_requests,流量一突增直接打爆上游,而网关恰恰该在这里挡
  5. 成本追踪空转——database_url 没配,/spend/logs 永远 0 条,还以为是没调用
  6. 健康端点想当然——/health/liveliness 是纯文本、/spend/logs 某些版本直接返回 list,验证脚本必须两种都兼容

五、本篇收获

  • 能画出网关在生产架构中的位置,说出五能力(路由/Key/fallback/限流/成本)
  • 能对比"应用内直连"和"网关"的取舍
  • 能对比 LiteLLM / Portkey / Helicone 三家选型
  • gateway_check.py 4/4 通过(真实容器验证)
  • 完成虚拟 Key 演练:创建 → 使用 → 单独吊销
  • 记住 SQLite 不支持这条硬约束

下一篇(C05):模块四收官《多模型架构与厂商锁定》——"如果明天供应商涨价或者下线",架构怎么扛(含供应商切换实操)。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。