关于AI绘画中相似脸型问题的探索

231 阅读1分钟

模型基本信息

模型下载地址:civitai.com/models/2176…

模型作者主页:civitai.com/user/softMe…

模型作者:襄垣

模型类型:SDXL 1.0 LCM

探索时间:2023年12月6日

问题描述

在很多使用比较广泛的大模型中,有一个现象:很多生成的图片中女孩的脸型大体一致,俗称AI脸,比如我们常见的麦橘脸。

image.png

根据小伙伴们的研究,这与训练方法有一定关系,麦橘的作者用模型摇图,选出喜欢的,又放到数据集里,这样脸型会越来越趋同。

脸型

在AI绘画中,通常会有两种不同的诉求:

  1. 期望脸型相同,可以当作同一个人物进行创作;
  2. 期望每次的脸型不同,这样不会被说是“AI脸”;

相似的脸型

要确定相似的脸型,最好的方式是使用Lora,但是Lora的成本比较高。所以,我们可以取巧一下,给我们的人物命名。

比如

a beautiful woman named aaaaaa, suit
图片1图片2
ComfyUI_00495_.webpComfyUI_00496_.webp
ComfyUI_00497_.webpComfyUI_00498_.webp
ComfyUI_00499_.webpComfyUI_00500_.webp

不同的脸型

对于麦橘的模型,可以通过a girl, SOMEONE的这种形式来实现有所差异的脸部,我们在LCM模型下做个尝试

a beautiful woman, SOMEONE, suit
图片1图片2
ComfyUI_00507_.webpComfyUI_00508_.webp
ComfyUI_00510_.webpComfyUI_00513_.webp
ComfyUI_00514_.webpComfyUI_00516_.webp

感觉效果不是很理想。

我们把关键词换一下,继续测试下效果:

a beautiful woman, Dynamic face, suit
图片1图片2
ComfyUI_00524_.webpComfyUI_00518_.webp
ComfyUI_00519_.webpComfyUI_00523_.webp
ComfyUI_00520_.webpComfyUI_00521_.webp

效果还可以。

出海报

海报内容为虚构的,不要当真! 海报内容为虚构的,不要当真! 海报内容为虚构的,不要当真!

使用ComfyUI的一个插件ComfyUI_Mexx_Image_Mask进行海报的输出,看一下效果

插件地址:github.com/SoftMeng/Co…

无限恐怖768x1024_1701833541.png

无限恐怖768x1024_1701833256.png