数仓代码评审的八个检查项
先说一种常见的情况。
一个月前上线的任务,今天突然多出了几十万行重复数据。
排查的结果很平淡:任务第一次跑是对的,后来因为上游延迟重跑了一次,用的是追加写入,数据翻了一倍。
这种问题,代码评审时花一分钟就能看出来,上线之后却要花半天去修数据。所以这篇把评审这件事,拆成三个问题问一遍:为什么评?评什么?意见怎么提?
▲ 评审三问:先想清楚为什么,再定查什么,最后落到怎么提
为什么评?
先回答值不值的问题。
代码评审这件事,很多人的印象是“挑风格”:变量命名、缩进、写法偏好。这类意见争不出对错,评起来最累,也最没价值——所以有人干脆不评了。
但开头那种事故说明,有一类问题,只有在评审时拦下来最便宜:追加写入、外连接条件放错位置、笛卡尔积,写代码的人当时看不出来,上线之后每个都是事故。评审一分钟,省的是上线后修数据的半天,还省了排查的功夫。
所以评审的对象要想清楚:不是风格,是那几类会真实出事的代码。风格交给工具和习惯,评审的力气,全部花在事故上。
评什么?
会出事的代码是固定几类。我们把评审要看的东西压缩成 8 条,逐条说为什么、怎么查。
1. 脚本有没有备注,复杂逻辑有没有注释
为什么: 半年后接手的人,和今天写代码的人,大概率不是同一个。
怎么查: 开头有没有写这个任务做什么、产出哪张表;复杂的口径有没有一行注释说明原因。
2. 任务能不能重跑,重跑结果会不会变
为什么: 上游延迟、补数据,重跑是常态。开头那个翻了一倍的任务,就栽在这一条。
怎么查: 是不是覆盖写入;有没有依赖“当前时间”这类每次不同的值。
3. 分区表有没有用分区过滤,能不能裁剪
为什么: 不带分区条件,等于全表扫描。
怎么查: 每个分区表的读取,是否都带了分区条件;分区条件有没有被包进函数里,导致裁剪失效。
4. 外连接的过滤条件放对位置了吗
为什么: 这是最隐蔽的一类错误,结果不报错,数据悄悄变少。
怎么查: 左连接时,右表的过滤条件如果写在 WHERE 里,会把没匹配上的行也过滤掉,等于变成了内连接;应该并进 ON 里。
错的写法:先按两表 id 相等做左连接,再在 WHERE 里按右表状态过滤——没匹配上的行在这里被悄悄过滤掉,左连接退化成内连接,结果不报错,数据变少。
对的写法:把右表的过滤条件并进 ON 里,关联时同时写上 id 相等和状态限制——没匹配上的行保留,一行不少。
▲ 同一个左连接,条件放的位置不同,结果差一截
5. 关联小表时,用了小表优化提示吗
为什么: 大表关联小表,能大幅减少数据搬运。
怎么查: 关联的小表,是否加了对应的优化提示;小表是不是真的“小”。
6. 有没有引用别人任务的临时表
为什么: 别人的临时表随时会被改名、清理,你的任务就悄悄断了。
怎么查: 读取的表里,有没有带临时前缀的;上游应该是正式的、有负责人的表。
7. 一个任务是不是只更新一张目标表
为什么: 一个任务写多张表,失败时无法判断哪张写成功了,依赖关系也说不清。
怎么查: 看任务里写入语句的数量。我们还约定:任务名与目标表名一致,方便双向追溯。
8. 有没有出现笛卡尔积
为什么: 一旦出现,数据量会成倍膨胀,轻则任务变慢,重则把资源占满。
怎么查: 每个关联是否都有关联条件;关联条件是不是会匹配多行,导致“多对多”。
意见怎么提?
知道了评什么,最后一个问题是落地:意见怎么提,评审才不流于形式。
- 做成一张评审单,逐条打钩。 8 条各占一行,提交评审的人先对着它自查一遍,不凭印象说“差不多”;
- 评审人只看这 8 条之外的东西。 8 条由提交的人先自查,评审人不重复造轮子;省下来的精力,放在口径和逻辑上——这才是需要人来判断的部分;
- 违反过的,补进团队的经验。 每发现一类新的问题,就加一条。检查项不是定死的,是团队踩过的坑攒出来的;
- 能自动化的先自动化。 比如“是否带分区条件”这种,用脚本扫就行。机械的检查交给脚本,人提的意见才有分量。
三问问完,回到开头那个翻倍的任务:追加写入是 8 条里的第 2 条,评审单上打一个钩的事。8 条不复杂,但每一条,都对应着一类真实会出的事故。