《AI 重塑测试 · 90 天实测日记》第 49 篇 · 结论以本机实跑记录为准
先摆代价。
性能压测的成本,不在跑它的那几分钟,在三处:
- 压测环境的成本——要机器、要数据、要时间
- 压测对生产数据的影响——写操作会改数据
- 容量评估的置信度成本——数字看着精确,实际边界很窄
最容易被忽略的是第三条。压测报告上那个「建议扩容到 8 台」的数字,如果假设清单是空的,它的价值接近零。
先说结论:这一期我不给任何容量数字。 不是不会算,是本机的实测边界撑不起这个结论。
环境:本机 Windows / Python 3.11.8。压测客户端用 requests 打本机 stub_web.py,服务是单进程 ThreadingHTTPServer。
并发模型参考 Python threading 文档,会话与连接池配置参考 requests 高级用法。
第一笔账:压测环境的成本,以及它的天花板
这台机器压出来的东西,只能证明这台机器的事
我压的是 127.0.0.1 回环。网络往返几乎为 0。
这意味着我测出来的毫秒级延迟,不代表真实网络下的延迟。 真实环境还要加:网络 RTT、网关、负载均衡、数据库。这四层,本机一次都没有。
另外三条限制也得摆出来:
| 限制 | 代价 |
|---|---|
单进程 ThreadingHTTPServer | 没有多实例负载均衡行为,没有分布式协调 |
压测端是 Python + requests 线程池 | 并发能力有限,压测端自己会先到瓶颈 |
| 未做多机分布式压测 | 无跨节点数据、无法评估集群聚合开销 |
| 未使用 JMeter / wrk | 专用工具能打出的并发,Python 打不出来 |
代价的实质是:这台机器跑出来的曲线,外推不到任何别的环境。
这不是“数据不够多”的问题,是「被测对象根本不是同一个东西」。加十倍采样次数也补不上。
压测端瓶颈:我自己踩的那个坑
我一度把并发从 10 加到 100,服务端延迟跟着涨了二十多倍,差点写成“系统只能扛 100 并发”。
回头查压测端自己的 CPU——跑满了。
原因在 Python 的 GIL(全局解释器锁,同一时刻只让一个线程执行字节码)和单进程模型的组合:压测端用线程池发请求,线程一多,请求就排在压测客户端自己的队列里。你测到的「服务端延迟」,一部分是“请求在压测端排队”。
成本代价:你不查压测端,扩容决策会做错。 而且错得很有说服力——因为服务端资源曲线看着确实很空闲。
怎么花最小的代价把这件事查出来
不需要复杂的工具,一条就够:同时记录压测客户端自己的 CPU 占用和连接数。
import os
import psutil
def 压测端快照():
"""压测端自身的资源快照。它自己吃满了,这一档就不能用来评容量。"""
进程 = psutil.Process(os.getpid())
return {
"压测端CPU%": psutil.cpu_percent(),
"压测端内存MB": round(进程.memory_info().rss / 1024 / 1024, 2),
"线程数": 进程.num_threads(),
}
一次采样几毫秒,但它决定了你手上这一档数据有没有意义。 这是全文投入产出比最高的一行代码。
第二笔账:压测对生产数据的影响
写操作的代价是脏数据
压测的读操作没有副作用,写操作有。
这个项目的订单状态是这样的:订单 2001 有两笔支付记录(一笔 FAILED 199.80、一笔 SUCCESS 199.80),订单 2002 未支付,订单 2003 已取消,订单 2004 已支付。
「发起支付」这个操作会改状态。 你压 100 次,得有 100 笔可支付的订单,否则测的是“重复支付怎么报错”。
于是产生了这笔账:要么准备数据,要么隔离数据,要么承担污染。
三种做法的代价各不相同:
| 做法 | 成本 | 风险 |
|---|---|---|
| 准备独立数据 | 数据准备脚本 + 清理脚本 | 准备逻辑本身可能有 bug |
| 用影子库/独立环境 | 部署一套环境的成本 | 环境与生产不同,结论要打折 |
| 直接打生产 | 零准备成本 | 污染真实数据、影响真实用户 |
第三种在教学演示里可以接受(stub_web.py 本来就是假的),在真实系统里绝对不行。
数据一致性的成本很低,但它抓的问题很贵
我在压测流程里加了一条核对:成功支付合计必须还是 359.60,订单 4 单。
359.60 是两笔 SUCCESS 支付各 199.80 加起来。订单 2001 里那笔 FAILED 的 199.80 不算。
这条检查的实现成本几乎为零:
def 一致性核对(订单列表, 期望合计=359.60, 期望笔数=4):
"""压完核对业务数据。对不上 = 压测把数据写坏了。"""
成功 = [o for o in 订单列表 if o.get("支付状态") == "SUCCESS"]
合计 = round(sum(o.get("金额", 0) for o in 成功), 2)
通过 = 合计 == 期望合计 and len(订单列表) == 期望笔数
return {
"通过": 通过,
"成功支付合计": 合计,
"订单数": len(订单列表),
"说明": "一致" if 通过 else "数据被压坏了",
}
为什么值得单独说: 延迟正常、错误率 0、吞吐很高,但金额错了——这种故障你只看性能指标永远发现不了。而它一旦漏到线上,就是对账事故。
Day48 我实测过两个基线值:
{
"请求数": 5,
"错误数": 0,
"内存MB": 36.22,
"日志条数": 5,
"订单数": 4
}
注入故障之后:
{
"请求数": 8,
"错误数": 1,
"内存MB": 36.25,
"日志条数": 8,
"订单数": 4
}
错误数从 0 到 1,订单数始终是 4——失败没污染数据。这个「订单数没变」就是一致性检查在起作用。
隔离也有代价
如果走影子库,成本立刻上来:
- 影子库要跟着生产的数据量走,数据量一大,影子库自己就有性能问题
- 影子库和生产的代码版本、配置、索引可能不同步,同步延迟本身会污染延迟数据
- 影子库的写操作如果回灌生产,回灌链路本身可能出错
影子库不是免费的干净环境,它是用一个新的不确定性换掉旧的不确定性。 报告里必须写明这一点,否则读者会把影子库的数字当生产数字。
第三笔账:容量评估的置信度成本
置信度是要花钱买的
每加一级压力,采样次数、重复轮数、观察时长都在涨成本。
我的规矩是每级至少测 3 次取中位数。为什么是 3?因为再往上加,成本开始超过收益——3 次只能告诉你“这档稳不稳”,谈不上统计显著性。
def 汇总(样本):
"""中位数抗抖动,p95 看尾部。两个都要,不是二选一。"""
数据 = sorted(样本)
次数 = len(数据)
if 次数 == 0:
return {"次数": 0}
中位 = 数据[次数 // 2] if 次数 % 2 else (数据[次数 // 2 - 1] + 数据[次数 // 2]) / 2
索引 = min(次数 - 1, int(round(0.95 * (次数 - 1))))
return {
"次数": 次数,
"最小": round(数据[0], 2),
"最大": round(数据[-1], 2),
"平均": round(sum(数据) / 次数, 2),
"中位数": round(中位, 2),
"p95": round(数据[索引], 2),
}
本机 observe.py 的实测输出:
采样 10 次,间隔 0.02 秒
耗时统计 {'次数': 10, '最小': 20.17, '最大': 20.59, '平均': 20.38,
'中位数': 20.38, 'p95': 20.59}
内存统计 {'次数': 10, '最小': 19.16, '最大': 19.16, '平均': 19.16,
'中位数': 19.16, 'p95': 19.16}
耗时 20.17~20.59 毫秒,波动极小;内存 10 次全是 19.16。这个「波动极小」本身就是回环环境的指纹——真网络下不可能这么齐。
延迟波动极小,恰恰说明这个数字的信息量有限。 它测的是服务逻辑本身,不是真实体验。
另一个更贵的坑:平均值
Day39 我实测同一页面三次加载耗时:0.098 / 0.062 / 0.052 秒。平均值 0.071 秒,谁也不代表。
极差 0.046 秒,相对最大值波动接近一倍。 如果压测只用 1 次采样,你就拿到三个值里的任意一个——运气好是 0.052,运气差是 0.098。
这不是精度问题,是结论稳定性问题。一次测量支撑不了扩容决策。
逐级加压的时间成本,和两个必须避开的坑
一级一级加,每级等稳定再采数,每级 3 次。这是时间和机器的乘积。
坑一:刚加完就读数。 Day39 那三个数波动近一倍就是证据——连接池在建立、缓存在预热。加完立刻读,读到的是预热数据。
坑二:延迟突然飙升和缓慢上升是两回事。
def 形态判定(上一档p95, 本档p95):
"""突然飙升通常意味着连接池/线程池先耗尽,不是容量上限。"""
if 上一档p95 <= 0:
return {"形态": "首档"}
倍数 = 本档p95 / 上一档p95
if 倍数 >= 3:
return {"形态": "突然飙升", "方向": "查连接池/线程池是否先耗尽"}
return {"形态": "缓慢上升", "方向": "资源逐步吃紧"}
第二种形态经常被误读成“到极限了”,其实只是配置没调好。把这两者搞混,扩容决策会做反。
第四笔账:AI 容量推断的置信度成本
AI 数字是最便宜的,也是最贵的
AI 给你一个容量数字,成本是零。风险不是零。
它给的答案通常很好看:「当前架构可支撑约 X 并发,建议扩容至 Y 实例」。
这个数字是从你给的数据外推出来的。而你的数据来自回环。
所以我给它加了硬性要求:每个推断必须附一份假设清单。
假设清单(缺一项就不能采信):
1. 硬件:CPU 核数、内存、磁盘类型
2. 并发模型:固定并发还是固定到达率
3. 数据量:订单条数、索引情况
4. 缓存命中率:假设值来源
5. 部署形态:单进程还是多实例,有无负载均衡
以及一条铁律:实测覆盖范围内可以对照,覆盖之外一律标「未验证」。
def 推断校验(AI结论, 实测覆盖上限):
"""超出实测范围的推断标未验证,假设不全的推断不可采信。"""
假设 = AI结论.get("假设清单", [])
缺项 = [h for h in ["硬件", "并发模型", "数据量", "缓存命中率", "部署形态"]
if not any(h in str(a) for a in 假设)]
超出 = AI结论.get("声称容量", 0) > 实测覆盖上限
return {
"可用": (not 缺项) and (not 超出),
"缺假设": 缺项,
"超出实测范围": 超出,
"标注": "未验证" if 超出 else ("假设不全" if 缺项 else "可对照实测"),
}
AI 数字最擅长的事,是把不确定性藏进一个看起来精确的数字里。 而不确定性的成本,最后由踩坑的人付。
置信度成本还包括「结论会被怎么用」
一份压测报告发出去之后,会被不同的人用在不同的地方:
- 开发看延迟曲线,想优化代码
- 运维看资源曲线,想调参数
- 老板看那个并发数字,想批预算
最危险的是第三种。 一个没有边界标注的容量数字,到了预算环节就变成了采购依据。
所以报告里每一张图、每一个数字,都必须带着它的成立条件:
在构建 A、数据规模 B、混合比例 6:3:1、观察时长 D、压测端未受限
的条件下,第 N 档满足已定义条件。
不能省掉条件写成“系统最大容量”。
什么时候别做压测
这是这一篇我最想留下的部分。
这几种情况,压测的投入产出比是负的:
一、业务还没稳定
需求天天改、接口契约每周变的情况下,压测结论在报告写完那天就过期了。
判据:如果这周要改接口,别压。 先把接口定下来。
二、流量小到不需要压
服务一天几百个请求、峰值并发个位数——你需要的不是压测,是加个告警。
# 什么时候该压,什么时候该告警
def 该不该压(峰值并发, 接口稳定性, 数据规模_万):
if 接口稳定性 == "每周变":
return {"结论": "别压", "理由": "结论会过期"}
if 峰值并发 < 50:
return {"结论": "别压", "理由": "峰值太小,压不出边界,别做告警"}
if 数据规模_万 < 10 and 峰值并发 < 500:
return {"结论": "别压", "理由": "数据量和并发都太小,压不出规模效应"}
return {"结论": "可以压", "理由": "存在值得找边界的区间"}
三、瓶颈明显在别处
如果单看架构就知道瓶颈在数据库连接数上,而应用层根本不是瓶颈——压应用层测出来的数字对你没用。
四、你想要的是「感觉一下」
很多压测报告的真实用途,是让团队心里有个底。这种需求用一轮小规模验证 + 静态分析就够了,不需要完整的逐级加压 + 重复测量。
五、没有独立环境,而业务数据不能污染
这种情况下压测的账算不过来:准备数据的成本 + 污染真实数据的风险 > 压测本身的收益。这时该做的是把写路径摘出来单独验证。
六、成本最高的一条:没人看报告
压测最贵的浪费,是做了一整套然后没人读。
一份没人看的压测报告,比不做还糟——因为它会让人误以为自己有性能保护。真实系统出问题时,团队的反应会是“压测不是过了吗”。
这跟用例库没人维护是同一种死法:有人做,没人看,比没做更危险。
本篇的边界
这套实现是教学演示用的最小实现,不是完整的性能测试体系。
做了:混合负载模型(6:3:1,标注为示例比例)、逐级加压与重复采样、延迟 p95 / 吞吐 / 错误率 / 数据一致性四项采集、业务侧核对(成功支付合计 359.60、订单 4 单)、AI 推断的假设清单与未验证标注。
没做:多机分布式压测、JMeter / wrk 等专用工具、真实网络环境、生产环境压测、真实的容量数字与扩容结论。
这个覆盖面刚好够把四条成本讲清楚,不够支撑任何真实的容量承诺。
小结
按成本从高到低:
- 置信度成本最高,也最容易被跳过 —— AI 的容量数字看起来免费,实际成本是「结论被当成事实用」
- 压测端限制必须单查 —— 压测端 CPU 和连接数,几次采样的事,但决定了你手上数据有没有意义
- 数据一致性核对几乎零成本 —— 成功支付合计必须还是 359.60,能抓住性能指标看不见的写坏
- 延迟波动要报出来 —— 0.098 / 0.062 / 0.052 秒,每级 3 次取中位数
- 逐级加压要区分形态 —— 缓慢上升是逼近极限,突然飙升是连接池先耗尽
- 隔离方案本身有成本 —— 影子库用新的不确定性换掉旧的,报告要写明
什么时候别压:业务不稳定、峰值太小、瓶颈明显在别处、只是想要个感觉、没有独立环境且数据不能污染、报告没人读。
下一篇是 Day50《内存涨了,就算泄漏吗:稳定性测试先算清三笔账》,把观察时间拉长——服务连续跑几小时,内存会不会一路涨、连接会不会越攒越多、队列会不会积压到用户干等。短时压测好看,不代表长时间稳。
本文出自《AI 重塑测试 · 90 天实测日记》系列(第 49 篇),作者「楠风测开」。系列按天记录测试平台的实测过程、本机环境与未验证项,结论以实跑记录为准。