太狠了!GitHub 19.8K star,真实接口流量直接录成测试

0 阅读6分钟

前段时间在逛 GitHub 时,翻到一个项目:keploy,挺有意思,分享给大家。

它是一个开源的接口测试工具,思路跟常见的不太一样。不写用例,先跑业务,把真实流量录下来,测试和 Mock 数据自动生成。后端开发者和测试同学都能用,省掉的是两块最费时间的活,手写用例和搭环境。

这个项目,先记住几个关键信息即可

  • 项目:keploy,官网 keploy.io
  • 2022 年初开源,19.8K star,Apache-2.0 协议,Go 语言写的,更新很勤,两天前刚发了 v3.7.3
  • 进了 CNCF Landscape 名录,Trendshift 趋势榜上也有它
  • README 喊的口号是帮开发者做到 90% 测试覆盖率,这类口径没法核验,听听就行了

它干的事很简单,一句话概括:把真实接口流量录下来,自动生成可回放的接口测试和依赖 Mock,回放时不需要真实环境和数据库。

写接口测试本身并不难

写接口测试本身并不难,真正棘手的往往是环境搭建。

为已有服务补充接口测试,编写断言耗费的时间其实不多,大部分成本都消耗在依赖环境的准备工作上。接口通常会对接数据库、缓存、第三方支付、消息队列等各类组件;想要在本地把测试跑通,就需要对每一项外部依赖逐一做 Mock。当业务服务变多之后,Mock 对象的维护成本甚至会超过业务代码本身。

而 Keploy 将录制流量与生成测试用例合二为一。录制阶段直接使用真实外部依赖,业务系统正常运行;回放执行测试时,则自动替换为录制得到的流量快照。应用会以为仍在和真实数据库、第三方服务交互,但实际交互数据全部来自上次录制的快照,无需手动搭建整套依赖环境,也不用自己构造测试数据。

流量录制回放并不是新概念,市面上已有不少同类工具。Keploy 的差异化主要体现在抓包实现位置,以及应用零改造的能力。

流量是怎么变成测试用例的

先说录制。用 keploy 把应用挂起来跑,比如一个 Python 服务

keploy record -c "python main.py"

应用照常启动,你在页面上正常点,或者用 Postman 打请求。每个进出的请求、响应、背后真实的数据库查询,全部被记下来,落到项目的 keploy 目录里,一边是用例文件,一边是 mock 文件。代码一行不用改,SDK 一个不用装。

官方 README 的解释是它在网络层是用 eBPF 抓包,抓的是内核里流过的流量。

从捕获流量、生成用例和 Mock,到回放出结果,官方有一张完整的流程动图

再说回放

keploy test -c "python main.py" --delay 10

keploy 会把录下来的请求重新发给应用,应用这次的真实响应跟录制的响应做对比,对得上算通过,对不上报差异。--delay 10 是给应用启动留时间。

因为依赖都被 mock 换掉了,这一步离线也能跑,录好的用例和 mock 还能直接进 GitHub Actions、Jenkins 这类 CI 流水线。

对了,keploy 自己也在用 keploy 测试,README 上挂着它自己的覆盖率(75%),多少算个正面信号。

数据库和消息队列,也一起录成 Mock

多数 mock 工具管的是 HTTP 接口,依赖里的数据库和队列要另外想办法。

keploy 录的粒度更深,Postgres、MySQL、MongoDB、Redis 的查询,Kafka、RabbitMQ 的消息,gRPC、GraphQL 的调用,都会跟着请求一起录下来。回放的时候,这些依赖不用起,应用发出去的查询直接命中录制的 mock 数据。

官方管这个叫 infra virtualization,基础设施虚拟化,意图很直白,测试环境里的依赖,整个用录制数据顶替。

对后端开发者来说,这意味着本地不用再装一整套数据库和中间件。对测试来说,回归不再被环境卡住,录一次,之后随时回放。

开发看行覆盖,测试看接口覆盖

同一份录制产物,两类人关心的覆盖率不一样。开发者看语句覆盖和分支覆盖,keploy 按录制的流量算。测试同学看接口结构覆盖和业务场景覆盖,它也算。官方在 README 里专门把这两类视角拆开讲,这一点比多数工具想得细。

用例不够还有办法补。CLI 里有个 test-gen 子命令,AI Agent 驱动,从已有录制和 Swagger、OpenAPI 文档里找问题,边界值、缺字段、多字段、类型错误、调用顺序颠倒,找到就补成新用例。相当于在真实流量的底子上,再补一层机器生成的边角用例。

一条命令装,两条命令跑

先看环境。文档写明 Linux、macOS(Apple Silicon)、Windows(x86-64)都能原生跑,Linux 要求内核 5.10 以上,Docker 和 Podman 里跑也支持。

安装就一条命令

source /dev/stdin <<<"$(curl -fsSL https://keploy.io/install.sh)"

装完终端会打出 keploy 的兔子 logo 和版本号。子命令不用全记,先会两个就够,record 录制,test 回放。剩下几个按需再查,test-gen 让 AI Agent 补用例,sanitize 给用例里的敏感数据脱敏,templatize 和 normalize 处理时间戳、随机数这类每次都变的字段,export 把用例导出成 Postman 集合,测试同学拿到就能直接用。

最短路径是这样,装好 keploy,把任意一个本地服务用 record 挂起来,点两下页面,再跑一遍 test,第一份不用手写的接口测试就有了。

这些命令和参数我照官方文档核过一遍,完整的生产项目我还没用它跑过,第一次接入建议先拿本地小服务练手,顺了再上 CI。

几个要留意的地方

录制的用例来自真实流量,里面可能有账号、手机号这类敏感信息,进 Git 之前用 sanitize 过一遍,别把测试数据带上线。

回放是快照对比,时间戳、随机 ID、自增主键这类每次都变的字段会直接判失败,要靠 templatize 和 normalize 把它们参数化。第一次跑 test 如果大面积挂,先查这类字段,多半不是真回归。

核心 CLI 是 Apache-2.0 开源的,Mock Registry、时间冻结、Console 控制台这些功能挂在官方云服务下,团队要用到那部分,得看官方的付费方案。

这工具值不值得装

我的看法是,后端服务多、依赖杂的团队值得认真试一次。它把接口测试的成本从写用例挪到了跑业务上,而跑业务这件事,本来每天都在发生。测试同学拿它做回归也合适,录制一次,往后每次发版前离线回放一遍。

工具本身可用可不用,思路可以学走。流量就是用例,依赖可以用录制数据顶替,这套做法不装 keploy 也成立。拿录制回放的眼光去看自己项目里的测试方案,多半能找出几处可以省掉的重复劳动。

GitHub项目地址:

https://github.com/keploy/keploy