把商品图生成做成一条可回滚的流水线:任务队列、幂等、失败重试与结果闸门

0 阅读10分钟

把商品图生成做成一条可回滚的流水线:任务队列、幂等、失败重试与结果闸门

八月中旬接过一个需求:一周内给四百多个 SKU 出场景图,每个 SKU 三套版式、两个场景。第一版写得很顺,一个同步接口,调一次拿一张图,前端转圈等。上线当天跑了六个小时,出了两千多张,也把两件事一起跑爆了——账单和失败率。

复盘的时候发现问题不在模型,在流程。同步接口把"一次请求"当成了"一个任务",失败就整条重来,重来就再花钱,钱花完还没人知道坏在哪。后来那条流程重做了三遍,下面记的是第三版的样子,也是我认为能长期跑下去的最小结构。

蓝白宠物户外饮水杯,草地逆光下的纯产品图

一、先把任务粒度切到能单独重跑

同步接口的隐含假设是"要么全成,要么全败"。生成这个场景不成立:一个 SKU 的六张图里,五张好一张坏是常态,而坏的往往只是某一个版式配某一个场景。

所以第一刀切在粒度上。一个 SKU 不是一个任务,一个"SKU × 版式 × 场景"的组合才是一个任务。切完,四百个 SKU 变成两千多个格子,每格独立排队、独立重试、独立判定。失败只污染一格,其余照常入仓。

第二刀切在输入上。每个任务落库时必须带三样东西的快照:素材版本(原图是哪一版、有没有换过)、模板版本(版式定义、安全区坐标)、参数版本(强度、条件权重、模型档位)。三样缺一样,任务就不可复现——而不可复现的流水线,回滚是没有意义的,因为你滚回去也不知道滚到了哪个状态。

这三样拼起来算一个指纹,后面所有幂等和归因都挂在这个指纹上。

二、幂等键要落在业务意图上,不是落在请求上

最早用的是 request_id 做幂等键。看着很对,实际上完全无效:前端超时重发,request_id 是新的;队列重投,消息 id 也是新的。每一次重试都被当成新任务,同一张图被生成四遍。

正确的键要能回答一个问题:这两次调用,是不是在要同一个东西。答案取决于意图,不取决于管道。所以键由业务字段拼:租户、SKU 编码、版式、场景、素材指纹、模板指纹。同一个人同一张原图同一个版式,无论调多少次,键都一样。

落地上有两道。第一道在入队前查一次,命中就直接复用已有结果或已有任务 id,连队都不进。第二道在写库时靠唯一索引兜底——这道不能省,因为并发下的查-写之间有窗口,靠应用层的锁挡不住多实例。

import hashlib

TENANT_SALT = "ylk-catalog-v3"

def make_ticket(sku_code: str, spec: dict, asset_rev: int, tpl_rev: int) -> str:
    raw = f"{sku_code}|{spec['ratio']}|{spec['scene']}|{asset_rev}|{tpl_rev}"
    return hashlib.sha1((TENANT_SALT + raw).encode()).hexdigest()[:20]

RETRYABLE = {"upstream_timeout", "worker_preempted", "object_read_slow"}
FATAL = {"prompt_rejected", "asset_missing", "quota_exhausted", "policy_block"}

def classify(err_code: str, tries: int) -> str:
    if err_code in FATAL:
        return "drop"
    if err_code in RETRYABLE and tries < 3:
        return "requeue_backoff"
    return "handover_human"

幂等键还有一个副产品:它天然是去重的单位。运营复制一个链接再改两个字段,如果改的字段不在键里,系统会认为是同一个任务——这时候该拦的不是重复,是该提醒"你其实想改的是版式"。

三、并发控制:队列是闸门,不是缓冲池

队列最容易变成垃圾桶。所有任务往里一塞,看起来解耦了,实际上只是把压力从接口挪到了看不见的地方。

我的做法是按配额分池。上游给的并发额度是有限的,按额度切成几个池子,同池内并发上限取实测 p95 耗时的倒数,再打八折。这个八折不是保守,是给突发留的余量——不留的话,一旦某批图特别慢,池子会被长任务占满,后面全是排队超时。

积压的观察指标也要换。队列长度三十条,可能是三十个快任务,也可能是三个卡死的慢任务,长度本身没有信息量。要看的是"预计清空时间":当前积压量除以实测吞吐。这个数超过四十分钟就该告警,因为它意味着今天这批图赶不上上架。

优先级只在一种情况下开:在售链接的补图优先于待上架的新品。理由是前者影响转化,后者影响排期,前者更急且更便宜。

四、超时与重试:哪些错值得再花一次钱

重试不是好习惯,是成本决策。同一条坏提示词跑三次,就是三倍的钱加三倍的等待,换来的是同样的失败。

值得重试的,是那些"这次不行下次可能行"的错:网关超时、worker 被抢占、对象存储读取慢、限流拒绝。这类错误与输入无关,重试的成功率是可观的。

不值得重试的:提示词被安全策略拒、素材文件缺失、配额耗尽、审核判定明确违规。这四类错误重试一万次结果一样,只会在日志里堆出一堆噪声,把真正的问题埋掉。

中间还有一类说不清的,比如偶发的空返回、偶发的质量塌陷。这类我给两次机会,第三次直接转人工,不再试。判断依据很简单:如果一个错误连续两次以同样方式出现,它大概率不是偶然。

退避要带抖动。固定间隔会让一批同时失败的任务在同一秒涌回去,把刚恢复的上游再打一遍。指数退避加随机抖动,能把这一波摊平到几十秒里。

手握杯身、橘猫凑近饮水的户外场景图

五、失败样本要分类落库

只记一个错误码是不够的。错误码是给机器看的,复盘要的是人能读的东西。

每条失败记录里我会留六列:错误类别、是否可重试、提示词指纹、模型档位、阶段耗时、是否人工返工。其中提示词指纹最有用——它是提示词归一化之后的哈希,同义改写会被归到一类,于是你能看到"这一类提示词失败率高",而不是"这一条失败率高"。

有了这个,每周的复盘就从"看日志"变成"看簇"。前五名失败簇占了多少比例,各自该改提示词、改素材还是改版式,一目了然。我们跑了一个月,发现排名第一的簇跟提示词没关系,是老款素材本身分辨率不够,编码阶段就丢了细节。

失败样本还要留图。不是留全部,留每簇的前三张。人看图三秒就能判断,看日志三十分钟也未必。

六、结果闸门:先机器筛,再人工看

生成的图不能直接入仓,中间要有一道闸门。

自动指标我只用四个,都是能算的:清晰度(边缘响应的方差)、主体占比(前景像素比例)、边缘完整度(主体轮廓的连续性)、与参照图的色差。前三个管"像不像一件合格的商品图",最后一个管"颜色有没有跑偏"。

关键在于不要把它们合成一个总分。合成之后你只知道"这张 62 分",不知道为什么。我的做法是一票否决加排序:任何一项低于硬阈值直接打回,全部通过的按综合排序送给人工。

人工队列只接"机器说不清"的图:指标在灰区、指标互相矛盾、或者同一任务两次结果差异过大。全量推人工等于把成本搬了个家。灰区的定义要写死在配置里,不能靠人拍脑袋。

积雪草面霜两罐白罐与粉罐,水花绿植背景

七、成本与配额:按 SKU 预算,不按调用次数预算

按调用次数做预算,会得到一种很坏的激励:大家都不在乎单张质量,反正次数管够。按 SKU 做预算,团队自然会先想清楚"这个 SKU 值不值得出六张"。

熔断也要落在 SKU 上。同一个 SKU 连续失败超过五次,自动转人工,并且把它从队列里摘出来。不摘的话,一个坏 case 能把整批的预算吃掉,而且它每次失败都会再排一次队,形成正反馈。

配额借用要有审计。A 团队没跑完,额度让给 B 团队,这在业务上合理,在账上是一笔糊涂账。借出方、借入方、数量、时间,四条都记,月底才能对上。

八、可观测性:三个比率比一屏曲线有用

监控面板我留了三块:耗时分布、失败率、人工返工率。前两个是常规的,第三个最容易被忽略,也最能说明问题。

自动通过率高、人工返工率也高,说明闸门设松了,机器放过的图人不认。失败率低、返工率高,是更贵的一种状态——钱花了,图不能用。只看失败率会把这种状态完全遮住,因为它压根不算失败。

埋点的维度要是任务维度。按请求维度埋,重试会把平均值拉得很难看,而且分不清是任务慢还是重试多。

告警我设了两条:返工率环比突增五成,以及单位可用图成本突增五成。后者是所有指标的合成结果,它一跳,上面某一块一定出事了。

这套东西跑顺之后,那四百个 SKU 的重跑只花了原预算的六成,人工介入的图从三成降到不足一成。真正省下来的不是模型费用,是那些本来会重复跑三遍的坏任务。流程上的取捨我们写在雨林凯AI(简称雨林凯)的博客里,www.yulinkai.com/blog ,比这里更偏业务侧的判断。

常见问题

问:任务切这么细,调度开销会不会反而变大?

会,但可控。两千个格子的调度开销在秒级,而一次整链重跑的成本在分钟级。粒度粗带来的浪费远大于调度本身。

问:幂等键里要不要带提示词全文?

不建议。提示词会改标点、改同义词,带全文会让键失效太频繁。用归一化后的指纹,再单独记一列原文,既能去重又能追溯。

问:重试两次和三次的区别大吗?

对可重试错误,第三次的边际成功率已经很低;对不可重试错误,第三次纯属浪费。我选两次,第三次转人工。

问:自动闸门的阈值怎么定?

先跑一批人工标注过的图,取人工判"可用"的分布的尾部当阈值,然后每两周回看一次。阈值是活的,写死在代码里迟早会跟业务脱节。

问:人工返工率高,是不是该把闸门调严?

先看返工的类型。如果集中在文字和细节,调严闸门没用,那是生成环节的能力边界,该改的是分工,不是阈值。

问:小团队有必要做这么全吗?

可以砍。队列、幂等、失败落库这三样先做,闸门用人工顶,等量上来了再补自动化。反过来的顺序会把钱烧在没有记录的地方。