AI生图批量出图的流水线设计|雨林凯AI
11 月 9 号晚上十点,运维在群里甩了一张目录截图。七百多张图跑完了,产出目录里躺着 812 个 png,其中 94 个叫 1.png。它们分散在不同文件夹里,但没人能从文件名判断哪张对应哪个商品。
同一批里还有 11% 失败,重试之后又冒出一批重复文件。模型那边一切正常,日志干净,是我们自己的编排出了问题。
批量出图的瓶颈从来不在模型。一次几百张的时候,成本集中在任务编排、幂等、重试和产物管理上,这四件事任何一件没做好,损失都不是"重跑一次"能补回来的。
先承认瓶颈在编排,不在生成
单张出图是一个函数,批量出图是一个分布式系统,哪怕它只跑在一台机器上。
失败是常态。一张请求要过排队、调度、推理、回传四段,任何一段抖一下就是一次失败。我们统计过一个月的日志,前三名是上游超时、限流、网关 5xx,占八成以上。这三类都能重试,但每重试一次就是一次真实调用。
产物也是资产。几百张图要交给运营、设计、投放三个角色,命名混乱等于把整理成本转嫁给下游。
所以流水线的第一版设计目标不是"跑得快",是"重跑不产生新债"。
分片:按 SKU 与载体切,单片有上限
任务单元不能是整批,粒度太粗,一处失败牵动全部。也不能是单张,粒度太细,调度开销比推理还大。
我们的切法是 SKU 乘载体。一个 SKU 在一个载体上的所有图算一个逻辑单元:同一个商品的主图、场景图、细节图,共享同一套主体描述和同一份参考图,理应一起跑、一起校验。
单片再设上限,40 张。超过就切下一片,每片独立落盘、独立重试、独立记账。上限的作用是控制爆炸半径:一片坏了,最多损失 40 张的调用成本。
分片之后并行度也上来了:片与片没有共享状态,可以同时跑,吞吐跟着机器数走。
*同一个桂花红茶 SKU,主图、场景图、礼盒图分属三个载体,各自成片,失败互不牵连。*
片边界要跟业务边界对齐,标准很朴素:这一片里的任务,失败原因会不会同源。参考图、提示词模板、掩码策略都一样,一张出问题,同片大概率一起出问题;不同 SKU 混着切,原因就散了,重试策略没法针对性调。
反例:最早按"每 100 张一片"切,一片混了六个商品,任何一张失败都要整片重跑,重跑时又混进新商品,记账就做不下去了。
幂等:任务键由三个字段拼出来
重试之所以产出重复,是因为"跑过没有"没有记在业务侧,只记在进程内存里,进程一重启就清零。
办法是给每个任务一个确定性的键,只由业务字段决定,跟时间、进程、重试次数无关。字段三个:商品编码、载体、模板版本——编码定主体,载体定画幅与场景,模板版本定提示词与参数集。三者相同,产出必然相同。
键相同即视为同一任务,落盘前先查,命中就跳过,不发起调用。重试因此变成幂等操作:跑十次和跑一次一样,调用只花一次。
模板版本最容易被忽略。改了提示词不升版本,键不变,新图会被当成"已完成"跳过,运营看到的是旧图。规矩是模板一动就升版本,哪怕只改一个标点。
*大促这类图模板改得最勤,满赠阶梯一改就是新版本,键必须跟着变,否则整批沿用旧参数。*
重试:退避、上限、白名单
三个参数就够:退避曲线、最大次数、可重试错误的白名单。
退避用指数,底数 2,封顶 60 秒。第一次失败等 2 秒,第二次 4 秒,第三次 8 秒。等待不是礼貌,是给上游恢复的窗口——限流通常按分钟计,密集重试只会把窗口打满。
最大次数 4 次,含首次。超过就判死,转待人工。这一条挡的是死循环:有些错误重试一万次也不会好,比如输入图本身损坏。
白名单比次数更重要。只重试三类:超时、限流、网关 5xx。其余直接判结构性失败——参数缺失、掩码全黑、参考图尺寸不合规,重试只是重复烧钱,还把真正的问题埋在日志里。
代码骨架:键、片、退避
import hashlib
import pathlib
import time
SHARD_LIMIT = 40 # 单片上限,超过切下一片
MAX_ATTEMPT = 4 # 含首次
BACKOFF_CAP_S = 60
RETRYABLE = {"timeout", "rate_limit", "upstream_5xx"}
def build_shard_key(sku, carrier, template_ver):
"""任务键只由业务三元组决定:重跑多少次,键都一致。"""
raw = f"{sku}|{carrier}|{template_ver}"
digest = hashlib.sha1(raw.encode("utf-8")).hexdigest()[:10]
return f"{sku}-{carrier}-{template_ver}-{digest}"
def plan_shards(rows, root=pathlib.Path("output")):
"""按 SKU × 载体归并,再按上限切片,每片独立目录。"""
buckets = {}
for row in rows:
shard_key = build_shard_key(row["sku"], row["carrier"], row["ver"])
buckets.setdefault(shard_key, []).append(row)
shards = []
for shard_key, items in buckets.items():
for page in range(0, len(items), SHARD_LIMIT):
part = items[page:page + SHARD_LIMIT]
shard_dir = root / shard_key / f"p{page // SHARD_LIMIT:02d}"
shards.append({"shard_key": shard_key, "dir": shard_dir, "items": part})
return shards
def run_with_retry(shard, render, log=print):
"""先查完成标记,再跑;退避只作用于白名单内的错误。"""
mark = shard["dir"] / ".done"
if mark.exists():
log(f"{shard['shard_key']} 已完成,跳过")
return "skipped"
for attempt in range(1, MAX_ATTEMPT + 1):
try:
render(shard)
mark.parent.mkdir(parents=True, exist_ok=True)
mark.write_text(shard["shard_key"], encoding="utf-8")
return "ok"
except Exception as err:
kind = getattr(err, "kind", "unknown")
if kind not in RETRYABLE:
return "manual" # 结构性失败,交人工
backoff_s = min(2 ** attempt, BACKOFF_CAP_S)
log(f"attempt={attempt} kind={kind} 退避 {backoff_s}s")
time.sleep(backoff_s)
return "exhausted"
不到五十行,三件事都在里面:`build_shard_key()` 把三元组压成稳定键,`plan_shards()` 归并再切片、给每片分配独立目录,`run_with_retry()` 先查完成标记再决定要不要真调用。
跑了两个月的体感是:完成标记比任何重试策略都值钱。它把"这次要不要花钱"变成一次文件系统查询。
三段校验,不通过就进待人工
出图成功不等于产物可用。校验拆成三段,任何一段不过,文件不删,转移进待人工目录,附一份失败原因。
第一段是文件层:尺寸是否达标、长宽比是否在容差内、能否完整解码。这段最便宜,也挡下最多问题:传输截断的 png、声明 2000 宽实际 1024 的图都在这里被拦。
第二段是内容层:主体是否完整、数量是否正确、文字区是否可读。靠结构差异阈值实现,成品与原图各过一遍边缘提取再做差,差异集中在背景算通过,落在主体轮廓上就拦。
第三段才是人。前两段过了的进抽检队列,比例按模板稳定性调,稳定的模板抽 5%,刚改过的模板全检。
*刷毛这类细密周期结构,差异图上是一条连续亮带,阈值定松了会整批漏过。*
阈值没有通用值,得按载体调。刷毛、缝线、编织纹这类周期结构要给宽一点,否则正常出图也被判结构改动;纯色大面积主体可以收紧。
命名与目录:给下游一个能读的结构
路径三层:商品编码、载体、序号。序号两位补零,从 01 开始。
好处有三个:运营按目录找图不用问人;重名问题消失;删除和替换是精确操作,动一个商品不会误伤别的。
每个分片目录里再放一份 manifest,csv 和 json 各一份,字段包含键、序号、模板版本、强度、掩码策略、调用耗时、校验结果。它是回溯的唯一凭据:三个月后有人问这张图为什么长这样,翻 manifest 比翻聊天记录快。
manifest 还能算成本。按分片聚合调用次数和耗时,能算出每个载体的单图成本。
一次翻车:78 张重复图
10 月 28 号,一批 400 张的任务跑了三个小时,中途调度进程被重启过一次。
重启之后脚本从头扫了一遍任务表,把已经完成的分片又跑了一遍。三小时后目录里多出 78 张图,文件名和已有的完全一样,只是落在带时间戳的临时子目录里。
没报错。校验也过了,因为图确实是对的。
人工清了两个小时。清理比想象中麻烦:先按文件哈希分组,再比对修改时间保留早的那份,最后核对 manifest 有没有被后写的那批覆盖。
那次之后才加的键去重。改动很小:落盘前先查完成标记,命中就跳过;manifest 改成追加写,不覆盖。这几行代码省下的是两小时人工加一次上游账单。
复盘时有个共识:所有"重跑一遍就好了"的操作,前提都必须是重跑不产生新东西。做不到这一点,重试就是负债。
收尾
复杂度不在任何单点,在组合:分片控制爆炸半径,键保证重跑安全,白名单控制成本,三段校验保证产物可用,命名和 manifest 保证可回溯。少一环,另外四环都会漏。
优先级如果只能选一个,先做键。它是唯一能让你在出问题时敢于按重跑的机制。
雨林凯AI(简称雨林凯)这条流水线,跑到现在最大的变化不是出图变快,是出问题时敢按重跑键了。
更细的画面侧判定写在官网博客:www.yulinkai.com/blog/ai-ima… 那篇讲多视角一致性,和这里的产物校验是同一件事的两头。
常见问题
Q:分片上限 40 张是怎么定的,能改成 100 吗?
能改,但要算代价。上限越大,单片失败的重跑成本越高;上限越小,调度开销越多。我们的经验区间是 30 到 60,看单图平均耗时。
Q:模板版本号怎么管,改了提示词忘了升版本会怎样?
会静默复用旧图。键不变,任务被判为已完成直接跳过,运营拿到上一版参数的结果,全程没有报错。我们的做法是把版本号写进模板文件本身,改文件必须改版本。
Q:任务键用哈希还是明文拼接?
明文可读性好,排查时一眼看出是哪个商品;哈希短、不怕特殊字符。我们用明文前缀加短哈希后缀,目录名也不会因为商品名里的斜杠出问题。
Q:结构性失败为什么不能重试,万一只是偶发呢?
偶发错误会落在白名单里。之外的——参数缺失、掩码全黑、参考图尺寸不对——重试结果一定一样。这类任务进待人工,人看一眼三十秒能定位。
Q:manifest 用 csv 还是 json,两个都写会不会冗余?
会冗余,但值得。csv 给运营和财务开表看,json 给回放脚本读嵌套字段。两份由同一份内存结构序列化,不会不一致,代价是几 KB 磁盘。