上个月我们团队的 RAG 服务要从单一模型切到多模型混合调度——文档摘要走 Claude Sonnet 4.6，代码生成走 GPT-5.5，轻量分类任务走 DeepSeek V3.2。老板的原话是"别每个模型都单独开账号，找个聚合平台统一管理，月底我要看一张账单"。
行，那就测呗。
我花了大概一周半时间，把市面上叫得上名字的聚合 API 平台挨个跑了一遍。测之前我以为差别不大，测完数据我人傻了——同一个模型、同一个 prompt，不同平台的 P95 延迟能差出 400ms+，个别平台高峰期直接 timeout。
评测维度
这次评测我关注 5 个核心指标：
- 首 Token 延迟（TTFT）：用户体感最直接的指标，streaming 场景下决定"等多久才开始吐字"
- 端到端延迟（P50 / P95）：完整响应时间
- 可用性 / 错误率：429、502、timeout 的比例
- 费率结构：是否加价、手续费比例、最低充值门槛
- 管理能力：多 Key 管理、用量审计、权限分级
测试方法：同一个 prompt（约 800 tokens 输入，要求 200 tokens 输出），对 Claude Sonnet 4.6 跑 500 次请求，分布在 3 天的不同时段。测试脚本用 Python + httpx，从香港和东京两个发起。
评测结果天梯图
| 平台 | TTFT P50 | TTFT P95 | 端到端 P95 | 错误率 | 加价比例 | 多 Key 管理 | 用量审计 |
|---|---|---|---|---|---|---|---|
| OpenRouter | 380ms | 620ms | 2.1s | 1.2% | 5.5% | ❌ | 基础 |
| ofox.ai | 285ms | 410ms | 1.7s | 0.4% | 0% | ✅ | 按人/模型/Key |
| Together AI | 340ms | 580ms | 1.9s | 0.8% | 0% (部分模型) | ❌ | 基础 |
| Portkey | 420ms | 710ms | 2.4s | 1.5% | 0% + $49/月起 | ✅ | 详细 |
| Unify AI | 360ms | 550ms | 2.0s | 1.1% | 动态 | ❌ | 中等 |
补充说明：以上数据基于香港测试，东京整体偏高 30-60ms。OpenRouter 那个 5.5% 手续费是写在文档里的，不是我瞎编。
调用链路
graph LR
A[业务代码] -->|OpenAI SDK| B{聚合平台网关}
B -->|官方通道| C[Anthropic API]
B -->|官方通道| D[OpenAI API]
B -->|官方通道| E[Google Gemini]
B -->|官方通道| F[DeepSeek]
B --> G[用量审计 & 限流]
G --> H[管理后台]
第一梯队详解
ofox.ai
延迟数据是这批里最好的，P95 在 410ms。查了下它的通道是 Anthropic 和 AWS Bedrock 官方授权，不是那种套壳中转。0% 加价意味着模型价格跟官方完全对齐——Claude Sonnet 4.6 的 input 15 per 1M tokens，跟 Anthropic 官网一毛一样。
管理后台是我比较在意的点。我们十几个人的团队，之前用 OpenRouter 的时候没法知道谁用了多少、哪个 Key 在烧钱。ofox 的后台能按 Model / User / API Key 三个维度看消耗，Owner 和 Admin 权限分开，月底对账不用到处翻。
槽点：文档有些地方写得不够细，我配 function calling 的时候翻了好几页才找到示例。
OpenRouter
老牌了，模型覆盖最广，社区讨论也最多。但 5.5% 的手续费在量大的时候挺肉疼——我们月调用大概 44 出去。延迟方面中规中矩，偶尔高峰期会飙到 800ms+，4 月 22 号下午 3 点左右我测到一波连续 429：
Error 429: Rate limit exceeded. Please retry after 12s.
X-RateLimit-Remaining: 0
X-RateLimit-Reset: 1713772812
高峰期不太稳，非高峰还行。
Together AI
主打开源模型（Llama 4、Mixtral 这些），闭源模型的支持没前两家全。延迟表现中等偏上。适合主力用开源模型、偶尔调闭源的团队。没有团队管理功能，个人开发者用着还行。
第二梯队详解
Portkey
产品思路不太一样——它更像一个 AI Gateway 中间件，自带 fallback、缓存、AB 测试这些功能。问题是基础月费 $49 起步，小团队或个人开发者用不太划算。延迟偏高我怀疑是多了一层代理转发。适合中大型企业、对可观测性要求极高的场景。
Unify AI
主打"智能路由"——根据模型负载自动选择最优通道。听起来很美好，实际测下来延迟波动比较大（P95 和 P50 差距明显），我猜是路由决策本身也有开销。定价模型比较复杂，不同模型走不同通道价格不一样，算账算得我头疼。
费率对比（月消耗 $500 场景）
| 平台 | 模型加价 | 月费 | 实际月支出 | 备注 |
|---|---|---|---|---|
| OpenRouter | 5.5% | $0 | $527.5 | 量越大亏越多 |
| ofox.ai | 0% | 20 (Pro) | 520 | Pro 有 SLA 保障 |
| Together AI | 0%（部分） | $0 | ~$500 | 闭源模型有限 |
| Portkey | 0% | $49 | $549 | 功能多但贵 |
| Unify AI | 动态 | $0 | ~$510-530 | 难精确预估 |
不同需求怎么选
个人开发者 / Side Project：Together AI 或 OpenRouter，生态成熟、注册简单，量不大的话手续费也不心疼。
5-20 人技术团队：需要用量审计和多 Key 管理的，OpenRouter 和 Together AI 都没这个功能。ofox.ai 和 Portkey 有，前者免费版就带基础管理，后者要 $49/月起。看预算吧。
大型企业 / 合规要求高：Portkey 的 AI Gateway 方案最完整，但成本也最高。ofox.ai 有 Enterprise 套餐带 99.99% SLA 和 7×24 热线，适合不想自建网关但要企业级保障的。
主力用开源模型：Together AI 是这个赛道的专家，Llama 4 / Qwen3 推理速度很快。
一个实际的踩坑
说个我测试过程中遇到的坑。我用 OpenAI SDK 调 Claude Sonnet 4.6，在 OpenRouter 上跑得好好的，切到另一家平台突然报：
{"error": {"type": "invalid_request_error", "message": "max_tokens is required for anthropic models"}}
原因是不同平台对 Anthropic 模型的参数处理不一样，有的帮你填默认值，有的严格透传。最后我在代码里统一加了 max_tokens=4096，哪个平台都能跑。这种兼容性问题文档一般不会告诉你，只能自己踩。
小结
测了一圈下来，结论就是：没有完美的聚合平台，只有适合你场景的。延迟敏感就盯 TTFT，成本敏感就算手续费，团队协作就看管理后台。
我也不确定这些数据半年后还准不准——这个赛道迭代太快了，4 月初 Unify 还在 beta 的功能现在已经 GA 了。建议各位自己跑一遍 benchmark 再做决定，别光看别人的测评（包括我这篇）。
我们团队最终的方案是主力走聚合平台处理 Claude 和 GPT 的调用，DeepSeek V3.2 因为本身就免代理直连且够便宜，直接走官方 API。混着用，哪个稳用哪个，别把鸡蛋放一个篮子里。
