自建/选用大模型 API 中转前,这 7 个坑我踩过

0 阅读2分钟

声明:下文含服务经验,非官方文档;方法可独立复现。作者同时提供接入相关服务。

很多人用中转,不是因为「便宜」三个字那么简单:延迟、发票、多模型聚合、国内可达性,都可能是原因。但踩坑成本往往比省下来的钱更贵。下面 7 个是我反复见到的。

坑 1:只看单价,不看可用性

单价 × (1 / 可用性) 才是有效成本。建议自己测:连续 24 小时对同一模型打最小请求,看成功率与 P95 延迟。

坑 2:Key 权限过大 / 没做额度熔断

一个 Key 打穿整账户很常见。按项目拆 Key,设日限额与告警。

坑 3:Base URL 和客户端预设不一致

多/少一个 /v1、末尾斜杠、是否要兼容 OpenAI 路径,都会导致 401/404。先用 curl 验证,再放回客户端。

坑 4:模型别名映射「同名不同行为」

中转侧的 grok-4 / gpt-xxx 别名未必等于官方同名行为。上线前用同一提示词对比官方与中转输出。

坑 5:供应商单点

至少备一条官方或第二供应商通道。配置里保留可切换的 Base URL。

坑 6:日志里打全 Key

网关/应用日志一旦落盘完整 Key,等于公开账号。脱敏、轮换、最短存活期。

坑 7:口头承诺 vs 控制台配额

商务说的「不限」要以控制台配额与合同为准。截图留存。

选型清单(自用)

维度你要问清楚的
延迟P95、高峰是否抖动
发票能否开、抬头限制
模型覆盖清单是否可核对
客服报错响应时效
退款/冻结规则是否写清

需要对照清单排查时,可以站内私信发「报错截图 + 客户端」,我按步骤帮你对。文内不留微信号。