系列《AI 应用生产化手册》第 17 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/… 本篇是模块四(成本与网关)第 4 篇:C01 算钱、C02 省钱、C03 分流,C04 把这三件事从业务代码里挪出来
一、先看问题:优化做了,痛点还在
C01–C03 都在应用侧做文章,但你会陆续撞上三堵墙:
- 应用直连供应商 = 换供应商要改代码——从 DeepSeek 换到 OpenAI,每个调用点都得动一遍,还容易漏。
- Key 散落各处——每个服务一把供应商 Key。泄露了你不知道是谁泄的,也没法只吊销那一个。
- fallback / 限流 / 成本统计每个应用各写一套——重复造轮子,而且每套实现都不一样,对账根本对不上。
解法:AI 网关。在应用和供应商之间加一层,统一模型名、集中管 Key、统一做 fallback 和限流、把成本落到库里。
核心认知:网关是"供应商无关"的第一层实现,也是 Key 安全和成本追踪的集中点。应用只认逻辑模型名(chat-strong / chat-cheap),供应商怎么变都不动业务代码。
二、原理
2.1 网关站在哪
应用(只认逻辑名 chat-strong / chat-cheap)
│
▼
AI 网关(LiteLLM)
├── 模型路由:逻辑名 → 真实供应商模型
├── Key 池:虚拟 Key 管理 / 按 Key 限流 / 单独吊销
├── fallback:主力失败自动切备用
├── 限流:rpm/tpm/并发上限
└── 成本追踪:spend 落库
│
▼
供应商(DeepSeek / OpenAI / ...)
2.2 应用内直连 vs 网关
| 应用内直连 | 网关 | |
|---|---|---|
| 换供应商 | 改代码 | 改配置(C05 可移植性的基础) |
| Key 管理 | 各应用一把 | 集中虚拟 Key,可单独吊销 |
| fallback / 限流 | 每个应用各写一遍 | 网关统一 |
| 成本统计 | 各自打日志自己算 | 网关 spend 落库 |
2.3 五能力对照(本 demo 真实配置)
| 能力 | 配置项 | 验证方式 |
|---|---|---|
| 统一模型名 | model_list(chat-strong → deepseek/deepseek-chat) | [2/4] /v1/models |
| 虚拟 Key | general_settings.master_key + PostgreSQL | [3/4] /key/generate + /key/delete |
| fallback | litellm_params.fallbacks: ["chat-cheap"] | 配置层(真实触发需 API Key) |
| 限流 | router_settings.max_parallel_requests: 10 | 配置层 |
| 成本追踪 | general_settings.database_url(PostgreSQL) | [4/4] /spend/logs |
2.4 网关怎么选
| 网关 | 定位 | 优势 | 短板 |
|---|---|---|---|
| LiteLLM(本篇) | 开源自托管代理 | OpenAI 兼容、100+ 供应商、fallback/Key/成本内建 | 界面弱(以 API 为主) |
| Portkey | 托管网关 | UI 友好、A/B 内建 | 托管费用 |
| Helicone | 观测为主 | 成本/延迟分析强 | 路由/fallback 弱 |
选型逻辑:开源自托管先把原理学明白(LiteLLM),团队大了再评估托管。网关不是越强越好,是"够用 + 可控"。
2.5 一个硬约束:必须 PostgreSQL
第一版我图省事把 database_url 配成了 SQLite,网关直接不启动:
LiteLLM Proxy: DATABASE_URL uses unsupported scheme 'sqlite'.
LiteLLM's database features (virtual keys, spend tracking) require PostgreSQL.
虚拟 Key 和成本追踪只认 PostgreSQL。 解决方式是复用 compose 里已有的 postgres 容器,单独建一个库(别和 Langfuse 混用):
docker compose exec postgres psql -U postgres -c "CREATE DATABASE litellm;"
三、动手
3.1 起网关
cd demo
docker compose exec postgres psql -U postgres -c "CREATE DATABASE litellm;" # 首次
docker compose up -d litellm
3.2 四项验证(真实容器记录)
python scripts/gateway_check.py
本项目真实容器验证摘录(2026-11):
[1/4] health: 200 "I'm alive!" → OK
[2/4] models (3): chat-cheap, chat-strong, chat-strong-alt
[3/4] key/generate: OK(虚拟 Key 已生成,随即 key/delete 清理)
[4/4] spend/logs: OK(0 条记录;有真实调用后这里会累计成本)
OK ✓ LiteLLM 网关就绪
四步分别对应四件事,缺一个都不算通:
- 健康——
/health/liveliness返回的是纯文本"I'm alive!",不是 JSON(第一次验证就是被这个坑了一下) - 模型加载——
/v1/models里必须能看到三个逻辑名,少一个说明 YAML 没加载对 - 虚拟 Key——创建并立刻删除,证明 Key 管理面可用。注意创建出来的 Key 是真实有效的,验证完要删
- 成本追踪——
/spend/logs能返回(0 条也算通)。有真实调用后这里会涨,此时才谈得上和 C01 的成本模型对账
3.3 虚拟 Key 演练(网关最值钱的能力)
1. /key/generate 创建一把"测试环境"专用 Key
2. 用它调网关(权限/预算只在这把 Key 上生效)
3. 测试环境泄露 → /key/delete 单独吊销
4. 生产 Key 完全不受影响
对比一下:没有网关时,一把供应商 Key 泄露 = 所有服务一起暴露,你只能全部轮换。有网关 = 每环境一把、可单独吊销、可单独限额。
3.4 配置逐行看(这几行最关键)
model_list:
- model_name: chat-strong # 应用只认这个名字
litellm_params:
model: deepseek/deepseek-chat # 换供应商只改这一行
api_key: os.environ/DEEPSEEK_API_KEY # Key 不落配置文件
fallbacks: ["chat-cheap"] # 网关层兜底(应用层是 R04 的降级链)
litellm_settings:
num_retries: 2 # 瞬时故障自动重试(A01 的网关侧实现)
request_timeout: 60
router_settings:
max_parallel_requests: 10 # 全局并发上限,防打爆上游
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
database_url: "postgresql://.../litellm" # 没有它,虚拟 Key 和成本追踪都不工作
注意 fallbacks 的落点:它在 litellm_params 里,不在 litellm_settings 里——两种写法的官方文档都出现过,写错位置不报错,只是不生效,这种坑最难查。
四、真实踩坑
- 拿 SQLite 当 database_url——虚拟 Key / 成本追踪只支持 PostgreSQL,直接启动失败(实测报错)
- master key 泄露——它是所有虚拟 Key 的父权限,等于通行证;生产必须强随机 + 不进代码库
- fallback 配错层——写在
litellm_settings里不报错也不生效,只能靠验证脚本兜 - 限流不配——没有
max_parallel_requests,流量一突增直接打爆上游,而网关恰恰该在这里挡 - 成本追踪空转——
database_url没配,/spend/logs永远 0 条,还以为是没调用 - 健康端点想当然——
/health/liveliness是纯文本、/spend/logs某些版本直接返回 list,验证脚本必须两种都兼容
五、本篇收获
- 能画出网关在生产架构中的位置,说出五能力(路由/Key/fallback/限流/成本)
- 能对比"应用内直连"和"网关"的取舍
- 能对比 LiteLLM / Portkey / Helicone 三家选型
-
gateway_check.py4/4 通过(真实容器验证) - 完成虚拟 Key 演练:创建 → 使用 → 单独吊销
- 记住 SQLite 不支持这条硬约束
下一篇(C05):模块四收官《多模型架构与厂商锁定》——"如果明天供应商涨价或者下线",架构怎么扛(含供应商切换实操)。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。