为什么「脱敏测试数据」必须可复现:从一张规则表说起

0 阅读5分钟

外包验收会上被问过一次:「这批测试数据怎么来的?」

我当时的回答是「脚本随机生成的」。对方接着问三个问题,我一个都没答上来:脚本在哪、种子是多少、换个人能不能生成同一批。那次验收拖了一周,最后补了一份规则说明才过去。

后来我把这件事做成了一个工具,才发现问题不在「能不能生成假数据」——这件事遍地都是免费工具。问题在于生成过程没有被记下来。这篇文章只讲这一件事怎么落地。

一、免费工具解决不了的是追溯,不是生成

市面上的测试数据生成器,功能上大同小异:手机号、身份证、银行卡、姓名、邮箱,填个条数就出。它们普遍不做三件事:

  1. 不固定随机种子。同一份脚本跑两次,出来两批不同的数据,测试出了问题没法回放。
  2. 脱敏格式是「顺手遮一下」。手机遮中间四位、身份证遮中间十位,看着都对,但没人写过为什么是这几位、依据是什么。
  3. 不交代边界。生成的身份证号能过校验位,看起来像真的,但它仍然是虚构号码——这句话不写在交付物里,用的人就会拿去试真实系统。

注意这三条都不是「功能缺失」,是信息缺失。补功能很容易,补信息需要有人在设计时就想清楚,并且愿意把判断写下来。

二、规则表要长成什么样

我最后定的交付物是「数据集 + 规则表 + 复现脚本」三件套,其中最不直观的是规则表。它得能逐字段说清四件事:

字段生成方式脱敏保留依据
手机号常见号段前缀 + 8 位随机数字前 3 后 4,中间 4 位 ****保留号段与尾号便于人工核对归属地和身份连续性,中间位无业务含义
身份证行政区划码 + 出生日期 + 顺序码,校验位按 GB 11643 加权算法计算前 4 后 4,中间 10 位 *前 4 位地区码是业务分组的依据,后 4 位含校验位,中间十位是出生日期与顺序码
银行卡前缀按发卡行 BIN 常见段取值,其余随机,末位按 Luhn 算法补前 4 后 4便于识别卡种与校验卡号长度,不暴露完整账号
姓名常见姓氏 + 常用名字库组合只留首字便于按姓氏分组,避免出现生僻字导致的编码问题
邮箱随机本地部分 + 固定测试域名本地部分留前 2 位避免误发到真实邮箱

这张表的重点不是数据本身,是每一行都能被追问。比如有人问「为什么手机只遮中间四位」,表里有答案;问「身份证怎么保证能过校验」,表里写了算法出处。审计要的从来不是「你做得对」,是「你说得清」。

三、可复现是怎么做到的

固定种子这件事技术上没有难度,难在别把它做成一个可选参数然后没人用。先要说清一件容易糊弄过去的事:在线生成器本身就该每次不同,它用的是系统随机源,固定了种子反而会让所有人拿到同一批数据,测试意义就没了。可复现是交付版才需要的东西,两者不能共用一个实现。

交付版的做法是:

import random

def build(seed: int, fields: dict, rows: int):
    rnd = random.Random(seed)          # 只在这里取一次种子
    out = []
    for _ in range(rows):
        out.append({k: gen[k](rnd) for k in fields})   # 所有生成共用同一个 rnd
    return out

三条约束:

  • 种子只有一个入口,不允许各个生成函数内部各自 random.random(),否则顺序一变结果就变。
  • 生成顺序固定,字段插入顺序也必须固定(Python 3.7+ 的 dict 保序可以依赖,但别在中间做重排)。
  • 不依赖时间、不依赖机器环境。任何 datetime.now() 参与生成都会让复现失效。

这样「同脚本 + 同种子 = 同数据」才成立。交付时把种子写进规则表,客户在半年后想复现,跑一遍脚本就行。

顺便说一个必须写进交付物、但很多人漏掉的数字:碰撞概率。随机生成的手机号在几十万条量级上会出现重复,去重策略(生成时查重、还是交付前统一去重)会直接影响条数。规则表里写明策略和量级,比事后解释省事。

四、几个常见误解

「用 Faker 就行」。 Faker 能生成格式正确的数据,但它不知道你的脱敏口径,也不管可复现。它是个零件,不是交付物。

「生产库导一份、洗一遍更真实」。 这条路在国内基本走不通:处理真实个人信息需要合法性基础,测试环境往往不具备,而且洗过之后你就有了一个「看起来脱敏、实际可回溯」的中间态,风险比直接用假数据高。

「脱敏就是把中间几位打星号」。 打星号只是结果。真正要设计的是「保留哪几位才能让测试用例继续跑」——留错了,测试数据没法验证业务规则;留多了,等于没遮。

五、这件事的边界

我不做合规认证,也不出法律意见。交付的是可审计的材料:规则说得清、结果可复现、边界写得明。能不能过某一方的审,取决于那个审核方的口径,不是我能承诺的。

同样的,我不会去处理客户已有的真实数据——那是另一类工作,涉及的东西完全不同。


如果你正好卡在「要给验收/测评/审计交一套脱敏数据」这件事上,我把这套东西做成了按单交付的服务,说明和定价在 tool.supubao.com/docs/desens…。免费试跑的生成器在 tool.supubao.com/testdata,跑的是同一套生成算法,区别是它不固定种子、也没有规则表和复现脚本——那三样正是交付要买的东西。