自动发布跑久了,最容易被忽略的不是发布动作本身,而是发布之后你还能不能回答三个问题:发了多少、发的是什么、这些链接现在还打不打开。台账就是干这个的。我们这条链路从 9 月中旬开始按天落一个 JSON 台账,到今天 68 个文件、1078 条记录、覆盖 8 个出口。这篇把它当成一次数据库巡检来讲:1078 条跑下来暴露的四个数据质量问题,以及最后收口成的一道去重闸门,脚本可以直接照着用。
先看记录形态,每条长这样:
{"platform":"...","time":"07:06","title":"...","url":"https://...","kind":"weibo","http_status":200}
一天一个文件,文件名是日期。看着够了,实际一统计就露馅。
坑一:必填字段缺失,去重键直接失效
对 68 天全量统计:1078 条里 153 条 title 为空,占 14.2%;31 条没有 url。近 30 天窗口更差,499 条里 96 条缺 title,19.2%。原因是写入脚本各写各的,新接的出口字段约束最松,没人拦。
后果不是"少个字段不好看",而是去重彻底失效:空标题归一化之后全变成同一个键,某个出口的 66 条记录会被合成一组。所以算重复之前,第一步永远是先排空值。
按出口拆开看,缺字段不是均匀分布的,最近 30 天窗口(499 条):
| 出口 | 记录数 | 缺标题 | 缺链接 |
|---|---|---|---|
| A(自建站信息流) | 195 | 0 | 0 |
| B(微博早间) | 78 | 0 | 0 |
| C(微博午间) | 76 | 10 | 0 |
| D(企业官网) | 58 | 0 | 0 |
| E(百家号) | 30 | 30 | 0 |
| F(头条号) | 30 | 30 | 0 |
| G(CSDN) | 29 | 26 | 0 |
| H(公众号草稿) | 3 | 0 | 3 |
规律很明显:自己写的脚本、字段按 schema 落的出口一条不缺;而早期用"发完顺手 append 一行"方式接进来的出口,标题基本全靠手填,能省就省了。这也解释了为什么"总数对得上、查起来却查不到"——计数只用了 platform 字段,而平台字段恰好是最不容易缺的那个。
坑二:标题的排版差异把同一篇算成两篇
同一篇内容在不同批次写入时,可能带书名号、带期号后缀、中间多一个全角空格。直接字符串比较会把它们当成两篇,去重形同虚设。归一化三步:去所有空白(含全角空格)、去书名号和方头括号、去末尾的"第 N 期"。
修前 28 组重复、多出 177 行;修后 24 组、多出 30 行。差的 147 行全是空标题被归到一组的假重复,这个数字本身就是"先排空值"的证据。
去重键为什么不直接用链接?因为链接会晚到:发布成功到拿到 URL 有延迟,草稿阶段的记录根本没有链接,用链接当键等于把"还没回填"的记录全部放过。也不能用正文的哈希:同一篇在编辑器和最终稿之间的空行、标点常有微差,哈希会把同一篇算成两篇。最后用的是平台加归一化标题这个组合,稳定、跨批次可比,代价是标题必须写全,所以它和坑一是同一个问题的两面。
坑三:假失败导致重复发布
发布脚本里踩过最贵的一个坑:发布成功后落地页 URL 里没有文章 id,取链接的旧逻辑只认 post/<id> 这种形态,于是返回空、抛错退出。下一轮重试,同一篇又发了一遍。
两个判据得分开看:发成功等于落地页出现"发布成功"文案(URL 里确实可能没有 id),有产物等于平台公开接口按标题反查得到。另外从发布成功到可访问有延迟,实测 1 到 10 分钟,这段时间路由可能先回 404 或者返回空壳页。SPA 站点尤其要注意,curl 对存在与不存在的 id 都回 200、body 里没有正文,路由 200 本身不能当交付证据。判失败之前至少隔五分钟复验一次。
坑四:状态字段缺省,草稿和已发混算
1078 条里只有 988 条写了状态码,其余是早期记录补进来的。草稿、已发、仅登录可见三种状态混在一个计数里,"本周发了多少"就是错的。现在写入时强制带状态,并且区分匿名可达和仅登录可见,后者不能当成成果交付。
收口:一道只读巡检闸门
最后落成一个只读脚本,每天跑一次,不过就阻断下一轮发布。核心就两个函数,扫最近 N 天的台账:
import collections, glob, json, re
def norm_title(s):
s = re.sub(r"[\s\u3000]", "", str(s or ""))
s = re.sub(r"[《》「」【】]", "", s)
return re.sub(r"第\d+期$", "", s)
rows = []
for f in sorted(glob.glob("publish_links/*.json"))[-30:]:
d = json.load(open(f, encoding="utf-8"))
rows += d if isinstance(d, list) else d.get("items", [])
groups = collections.Counter((r.get("platform"), norm_title(r.get("title")))
for r in rows if norm_title(r.get("title")))
dups = {k: v for k, v in groups.items() if v > 1}
输出四个指标:缺 title 率、缺 url 条数、非 200 链接数、重复组与冗余行数。最近 30 天的实际输出:
{"rows": 499, "platforms": 8, "miss_title": 96, "miss_title_pct": 19.2,
"miss_url": 3, "bad_http": 10, "dup_groups": 17, "dup_extra_rows": 18,
"verdict": "FAIL"}
三个值得盯的点:重复组里出现了标题是"1"、"2"的记录,某个出口把序号写进了标题字段,这种脏数据只能靠巡检发现;非 200 的十条要按状态码分类处理,别见非 200 就删记录;verdict 用 FAIL 而不是打印一句提示,是为了让定时任务能按退出码卡住后面的流程。
状态码这一项特别容易误判。最近 30 天那 10 条非 200 里,8 条是 521、2 条是 404。521 是源站没起来、前面的反向代理替对端回了错误,文章本身好好的,隔一会儿再探就恢复;404 才是路径真的没了,需要人工看一眼是改了 slug 还是被删。两类混在一起算"链接失效",就会把正常文章误判成垃圾数据,进而触发不必要的重发——又回到坑三。
所以巡检的口径定为:521、502、503、504 归"对端暂不可用",只记不告警;404、410 归"链接失效",当天人工复核;只有 200 才算可达。这个分类写死在脚本里,比每次靠眼睛看一遍可靠。
三道闸门的位置
写入时,四个必填字段(平台、标题、链接、状态)缺任何一个就抛错,脏数据不进台账。发布前,按归一化标题查最近 30 天,命中就跳过,这一步挡的是重复文章,比事后删文便宜得多。每天,巡检脚本跑完,不过就阻断下一轮,人工看一眼再放行。
整套代码不到 100 行,但它是这条链路的对账基础。没有它,"这周发了多少"只能靠记忆;有了它,每个数字都能追到具体文件、具体行和那条链接当时的状态码。