AI 应用的容量规划与压测:并发、吞吐与限流怎么定

0 阅读1分钟

AI 应用的容量规划与压测:并发、吞吐与限流怎么定

做过 Web 的人对容量规划都有一套现成方法:估 QPS、压接口、看 P99、按机器数扩容。这套方法搬到 AI 应用上会失真,因为负载特征根本不同——响应时间从几百毫秒到几十秒、连接是长连接、瓶颈可能不在你自己的机器上而在供应商的限流上。

照搬 Web 压测的结果,通常是压了个寂寞:QPS 看着很高,一上真实流量就在别的地方崩了。这篇讲 AI 应用里容量这件事该怎么看。

一、负载特征:和 Web 不一样在哪

维度传统 Web 接口AI 应用接口
响应时间毫秒级,分布集中首次出字几百毫秒,完整回答几十秒,分布极散
连接短连接,请求即释放流式输出期间长连接一直占用
吞吐单位请求数(QPS)token 数(生成速率)
瓶颈位置自己的机器和数据库供应商限流、检索链路、模型吞吐都可能是
失败模式报错、超时限流 429、首 token 延迟飙升、流中断

最大的认知差异是第一条:流式输出期间,一个"请求"会占用连接几十秒。传统压测里 100 QPS 的短请求和 AI 场景里 10 个并发的长流式,服务器压力可能差不多——后者连接被占着不放,连接池和网关的压力完全不同。

哦,原来是这样:AI 服务的容量单位是"并发会话数"和"token 吞吐",不是 QPS。用 QPS 做容量预算,从单位上就错了。

二、容量怎么估

估容量前先把几个参数摆出来:

  • 峰值并发会话数:同一时刻有多少用户在等生成。
  • 平均输入/输出 token:决定每次请求消耗多少配额。
  • 模型生成速率:单个请求每秒能出多少 token。
  • 检索链路耗时:向量检索 + 重排在模型之前,也占总延迟。

一个粗略但够用的估算:所需吞吐 ≈ 峰值并发 × 平均输出 token ÷ 生成速率。比如峰值 50 个并发、平均输出 800 token、单请求生成速率每秒 40 token,那么高峰期大约需要同时维持约 1000 token/秒的生成能力。

def estimate_capacity(concurrent, avg_output_tokens, tokens_per_sec, safety=1.5):
    """
    粗估高峰期所需的生成吞吐与请求速率。

    :param concurrent: 峰值并发会话数
    :param avg_output_tokens: 平均每次输出的 token 数
    :param tokens_per_sec: 单请求生成速率
    :param safety: 冗余系数,覆盖波动
    :return: 所需吞吐与等效请求数
    """
    duration = avg_output_tokens / tokens_per_sec      # 单请求平均占用时长
    throughput = concurrent * tokens_per_sec * safety  # 所需总生成速率
    equivalent_rps = concurrent / duration             # 等效请求速率
    return {"throughput_tps": throughput, "rps": equivalent_rps, "avg_duration": duration}

对走供应商 API 的应用,还有个绕不开的东西:双重限流。供应商一般同时按 RPM(每分钟请求数)和 TPM(每分钟 token 数)限流,两者哪个先到哪个生效。实践中 TPM 通常先到——请求数没超,但长上下文把 token 配额吃光了,照样返回 429。所以容量预算要按 token 算,而不是按请求数算。

自建推理的容量逻辑不同:瓶颈在显存。并发数 × 上下文长度决定 KV Cache 占用,超过显存就开始排队或失败。这部分和推理优化相关,思路是先算单请求 KV 占用,再除以可用显存。

哦,原来是这样:供应商的双限制里,TPM 通常先到。按请求数做预算、按 token 消耗,两头对不上,高峰期就会莫名其妙地撞限流。

三、压测压什么

只压模型接口是常见误区。用户请求的完整链路是:检索 → 重排 → 组装 → 模型 → (工具) → 返回,任何一段都可能是瓶颈。压测要覆盖整个链路。

压测场景目的看什么
检索链路单独压向量库/重排是否是瓶颈检索耗时分布、缓存命中
模型接口单独压摸清吞吐上限与限流行为token 吞吐、429 出现的并发水位
全链路混合压真实分布下的整体表现首 token 延迟、完成时间、错误率
流式长连接压连接保持与网关行为连接数上限、中断率
失败注入限流/超时时降级是否生效降级触发率、用户可见错误率

几个容易被忽略的要点:

  • 请求内容要用真实分布。固定一句"你好"压出来的数字没有意义——真实请求长度差异极大,token 消耗的方差直接决定限流什么时候触发。
  • 阶梯加压找拐点。不要只测一个"目标峰值",从低并发逐级往上,找出延迟开始非线性上升、错误率开始出现的那个水位。拐点才是实际容量,而不是机器标称值。
  • 流式要单独压。普通压测工具默认按请求-响应模式发,流式要保持连接、逐块接收。首 token 延迟和总完成时间要分开统计,混在一起看不出来问题。
  • 压测也要算成本。压模型接口就是真金白银地调用,一轮压测的费用要进预算——这也是为什么建议用影子流量(前面灰度篇讲过)复用真实请求,而不是纯造数据。
graph TD
    A[压测目标定义] --> B[准备真实分布的请求集]
    B --> C[单环节基线压测 检索/模型]
    C --> D[全链路阶梯加压]
    D --> E[记录拐点 延迟与错误率]
    E --> F[失败注入 验证降级]
    F --> G[输出容量水位与限流阈值]

哦,原来是这样:压测的产出不是"能扛多少 QPS"这一个数字,而是拐点在哪、瓶颈在哪一段、降级是否真的会触发。这三样才是容量规划的输入。

四、该看什么指标

指标含义异常时指向
首 token 延迟用户感知的"开始响应"速度检索慢、模型排队、prefill 太长
完成时间 P95 / P99长尾体验少数超长请求拖尾,需要限输出长度
token 吞吐生成能力是否够并发超过模型或供应商上限
并发会话数连接占用情况网关或连接池先到上限
429 占比限流触发频率TPM 先到,需按 token 做预算
流中断率长回答中途断开的比例网关超时配置、网络不稳

首 token 延迟值得单独强调:它是用户感知最敏感的指标。总完成时间 30 秒但如果 1 秒内开始出字,体验远好于 10 秒才开始动。压测时这两项必须分开记录。

五、限流与降级:高峰期该怎么办

容量是有限的,超过容量时系统怎么表现,比容量本身更影响口碑。

分层来做:

  1. 入口限流:按用户/租户限并发和速率,防止一个用户占满容量。免费和付费可以不同额度。
  2. 排队与背压:超过容量的请求排队而不是全部失败。队列要有长度上限——排到第 1000 位再返回,用户早就走了,不如直接拒绝并告知预计等待。
  3. 优先级:交互式请求优先于批量任务;批量任务挪到低峰期跑。
  4. 降级:容量实在不够时按顺序降——先换更小的模型、再减检索条数(少给上下文)、最后才拒绝服务。

降级顺序必须提前定好并写进代码,高峰期现想是不现实的。而且每一级降级都要有对应的用户提示:"当前排队人多,回复可能变慢"比"悄悄变笨但不说话"好得多。

哦,原来是这样:降级的本质是"在哪些维度上变差"的选择题。提前选好顺序,高峰期执行就行;没提前选,系统会在所有维度上同时变差。

六、容量和成本是一体的

扩容就是花钱,所以容量规划要和成本放在一起看:

  • 用计量数据(按小时/按天)找真实的峰值模式。很多系统的峰值和想象的不一样——不是工作时段的最高点,而是某个定时任务的叠加。
  • 批量任务(离线评测、批量摘要、重建索引)全部排到低峰,错峰本身就是免费的扩容。
  • 缓存命中率对容量的影响比加机器大:命中就不占生成能力。高峰期的容量压力,有一部分应该由缓存扛。
  • 自建推理和 API 的成本结构不同:自建是固定成本加并发上限,API 是线性成本加弹性。量小用 API,量大且稳定才考虑自建,这个拐点要用计量数据算,不要拍脑袋。

七、多租户与混合负载:容量怎么分

多租户场景下,容量问题会多出一层:共享容量的分配。

最怕的是"吵闹邻居"——一个租户跑了个失控的批量任务,把共享的 token 配额吃光,其他租户全部被限流。解决办法是配额按租户独立:

  • 每个租户有自己的 TPM / RPM 上限,超了自己排队,不影响别人;
  • 配额存在配置里,可按套餐调整,超卖要留余量;
  • 总容量按"所有租户峰值之和"准备是浪费的(峰值不会同时出现),按统计复用加余量是常规做法——但余量要有依据,用计量数据看各租户峰值的相关性,而不是拍一个折扣。

在线流量和批量任务也要隔离。批量(重建索引、离线评测、批量摘要)吞吐大、不赶时间,和交互式流量抢同一个配额,高峰期两边一起崩。常规做法:

隔离维度做法效果
租户配额每租户独立限流邻居失控不影响他人
流量类型批量走独立配额 + 低峰执行在线体验不被挤占
时间批量排到凌晨低峰相当于免费扩容
模型批量用便宜模型或批处理接口成本与配额双省

压测时多租户也要单独验一个场景:单个租户打满自己配额时,其他租户是否完全不受影响。这个用全链路压测很难自然覆盖,要专门构造。

哦,原来是这样:多租户的容量规划,一半是算总容量,另一半是设计"怎么分"。分配设计不好,总容量再大也会被单个租户吃穿。

graph TD
    A[请求进入] --> B{流量类型}
    B -->|交互式| C[按租户限流]
    B -->|批量| D[独立配额 低峰执行]
    C --> E{容量充足?}
    E -->|是| F[正常处理]
    E -->|超载| G[排队 背压]
    G --> H{仍超载?}
    H -->|是| I[降一级 换小模型]
    I --> J{仍超载?}
    J -->|是| K[降二级 减检索条数]
    K --> L{仍超载?}
    L -->|是| M[拒绝并告知预计等待]

八、常见坑

  • 用 QPS 做容量单位:流式长连接下完全失真。
  • 只压模型接口:检索和重排往往是先崩的那一段。
  • 用固定短请求压测:token 方差没体现,限流水位估不准。
  • 不区分首 token 和完成时间:长尾问题被平均值掩盖。
  • 只测成功路径:限流和超时的降级行为没验证过,高峰期才第一次运行。
  • 队列无上限:排队到几分钟的请求等于失败,还占着资源。
  • 降级顺序没提前定:高峰期系统在所有维度同时变差。
  • 压测不算成本:一轮压测烧掉的配额比预想多得多。
  • 批量任务挤高峰:和在线流量抢配额,两边一起变慢。

九、什么时候不用做这么全

内部工具、用户量小、高峰可预测,那估一个保守的并发上限、加上入口限流,就够用了。

但只要出现这几条之一,压测和容量规划就该认真做:对外提供服务且用户量在涨、经历过一次高峰期雪崩、混跑在线和批量任务、即将换模型或上多租户。

顺序建议:先用计量数据摸清真实负载分布 → 再按链路分段压出基线 → 全链路阶梯加压找拐点 → 最后定限流和降级顺序。没有第一步,后面全是拍脑袋。

收尾

AI 应用的容量这件事,核心变化只有一个:计量的单位从请求数变成了 token 和并发会话。

跟着这个变化走,其他都是熟悉的工程活:分段压测找拐点、真实分布造请求、失败注入验证降级、限流排队分层设计。

最后提醒一句:容量规划不是一次性项目。负载会涨、模型会换、功能会加,拐点会移动。把压测做成例行的事——每次大变更前跑一遍——比一年做一次"大而全"的容量评估有用得多。