文生图 逆向工程 图生文

4,032 阅读1分钟

文生图 和 图生文

大部分的文章都介绍过利用Stable diffusion/DALL.E/Midjourney生成惊艳的图片,简称文生图。但是好的提示词/描述 才能生成惊艳的图片。

大部分博主都是根据自己的经验写描述,如果有一个Model,可以根据图片自动生成描述和提示词(简称图生文)那会方便很多。

CLIP Interrogator

CLIP Interrogator 就是一个好用的图生文工具,基于开源的Stable diffusion,可以自动生成对应的描述和提示器,其他未开源的Model(比如DALL.E 和Midjourney)暂不支持。

链接:CLIP Interrogator - a Hugging Face Space by pharma

图生文-文生图 逆向工程的具体步骤

第一步,从网上找一张用stable diffusion生成的图片

1669761261267_600x600.png

第二步,打开 CLIP Interrogator,把图片丢进去,生成提示词

链接:CLIP Interrogator - a Hugging Face Space by pharma

比如我得到的提示词:

a black and gold buggy sitting on top of a white floor, a digital rendering, featured on behance, bugatti veyron, whips

第三步,打开 Stable Diffusion v1-5,把提示词丢进去,生成新的图片

链接:Stable Diffusion v1-5 - a Hugging Face Space by runwayml

image.png

图生文-文生图-图生文 无限的循环

根据刚刚生成的图片,又可以得到新的提示词,然后又可以生成新的图片...... 我们会看到画风和提示词都逐渐偏离样本,可以用这个方法发现很多原来不知道的描述、提示词、艺术家。