文生图 和 图生文
大部分的文章都介绍过利用Stable diffusion/DALL.E/Midjourney生成惊艳的图片,简称文生图。但是好的提示词/描述 才能生成惊艳的图片。
大部分博主都是根据自己的经验写描述,如果有一个Model,可以根据图片自动生成描述和提示词(简称图生文)那会方便很多。
CLIP Interrogator
CLIP Interrogator 就是一个好用的图生文工具,基于开源的Stable diffusion,可以自动生成对应的描述和提示器,其他未开源的Model(比如DALL.E 和Midjourney)暂不支持。
链接:CLIP Interrogator - a Hugging Face Space by pharma
图生文-文生图 逆向工程的具体步骤
第一步,从网上找一张用stable diffusion生成的图片
第二步,打开 CLIP Interrogator,把图片丢进去,生成提示词
链接:CLIP Interrogator - a Hugging Face Space by pharma
比如我得到的提示词:
a black and gold buggy sitting on top of a white floor, a digital rendering, featured on behance, bugatti veyron, whips
第三步,打开 Stable Diffusion v1-5,把提示词丢进去,生成新的图片
链接:Stable Diffusion v1-5 - a Hugging Face Space by runwayml
图生文-文生图-图生文 无限的循环
根据刚刚生成的图片,又可以得到新的提示词,然后又可以生成新的图片...... 我们会看到画风和提示词都逐渐偏离样本,可以用这个方法发现很多原来不知道的描述、提示词、艺术家。