【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景(4)-颜色和语义分割

1,208 阅读7分钟

我计划使用40个工作流分成3-4篇文章来介绍Stable Diffusion的controlNet各种预处理器以及它的使用效果。

并且做成像字典一样的记录,后面需要使用时,也可以随时查阅,当然这些工作流我也会分享。

这是我们的第四篇,本篇主要介绍stable diffusion controlNet 颜色和语义分割相关的处理器。

第一篇: 【comfyui】40个工作流一次让你彻底掌握SD controlNet的使用场景(1)-线性处理器

第二篇: 【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景(2)-法线和深度处理器

第三篇: 【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景(3)-openpose

Color Pallete调色板

提取原图的颜色分布,用在新生成图片上面。

Color Pallete调色板

Content Shuffile随机洗牌

Content Shuffle 随机洗牌

随机洗牌是非常特殊的控图类型,它的功能相当于将参考图的所有信息特征随机打乱再进行重组,生成的图像在结构、内容等方面和原图都可能不同,但在风格上你依旧能看到一丝关联。

不同于其他预处理器,Shuffle 在提取信息特征时完全随机,因此会收到种子值的影响,当种子值不同时预处理后的图像也会是千奇百怪。

Shuffle 的使用场景并不多,因为它的控图稳定性可以说所有 ControlNet 模型中最差的一种,你可以将它当作是另类的抽卡神器,用它来获取灵感也是不错的选择。

在生成图片时。偶尔会想:输入 prompt太麻烦了... ,希望直接参考某张图片的风格和构图来生成一张新的图片。在这种情况下,推荐使用 ControlNet 的 Shuffle,

Content Shuffile随机洗牌

recolor_intensity注重图像颜色饱和度

Recolor 可以用在“文生图”和“图生图”,实测 Recolor 在这两种方式下的效果差不多

提示词和反向提示词也可以不写,Recolor 会自己选颜色,但是要想达到特定的控制效果,还是得自己写。比如我这里想要把头发改成红色

预处理器有两个:recolor_luminance:提取图像特征信息时注重颜色的亮度,实测大部分情况下这个效果更好。recolor_intensity:提取图像特征信息时注重颜色的饱和度。模型有三个:ioclab_sd15_recolor.safetensors 适用于 Stable Diffusion 1.5 的模型。sai_xl_recolor_128lora.safetensors 适用于 Stable Diffusion XL 的模型,模型的低秩矩阵有128维。sai_xl_recolor_256lora.safetensors 适用于 Stable Diffusion XL 的模型,模型的低秩矩阵有256维。

Gamma Correction:伽玛校正,这个词比较专业,大概是说人眼对亮度的识别是不均匀的,对暗区的变化比较敏感,对亮区的变化比较迟钝,为了调节生成图片的感受亮度,以及在不同的显示设备上输出,就搞出了一个幂函数,来映射真实亮度和感受亮度,这个伽马值就是函数的幂。默认为1,如果感觉生成的图片暗就调小一点,如果感觉生成的图片过亮,就调大一点。

recolor_intensity注重图像颜色饱和度

语义分割

Segmentation 的完整名称是 Semantic Segmentation 语义分割,很多时候简称为 Seg。和以上其他线稿类控制类型不同,它可以在检测内容轮廓的同时将画面划分为不同区块,并对区块赋予语义标注,从而实现更加精准的控图效果。

Seg 预处理器检测后的图像包含了不同颜色的板块图,就像现实生活中的区块地图。画面中不同的内容会被赋予相应的颜色,比如人物被标注为红色、屋檐是绿色、墙壁是黄色等,这样限定区块的方式有点类似局部重绘的效果,在生成图像时模型会在对应色块范围内生成特定对象,从而实现更加准确的内容还原

Seg 也提供了三种预处理器可供选择:OneFormer ADE20k、OneFormer COCO、UniFormer ADE20k。尾缀 ADE20k 和 COCO 代表模型训练时使用的 2 种图片数据库,而前缀 OneFormer 和 UniFormer 表示的是算法。

其中 UniFormer 是旧算法,但由于实际表现还不错依旧被作者作为备选项保留下来,新算法 OneFormer 经过作者团队的训练可以很好的适配各种生产环境,元素间依赖关系被很好的优化,平时使用时建议大家使用默认的 OneFormer ADE20k 即可。

语义分割OneFormer COCO

OneFormer COCO 是一种先进的图像分割技术,结合了 Transformer 架构和多任务训练的优势,可以实现更准确和高效的图像分割。而 COCO 数据集则为图像分割模型提供了丰富的训练数据和评估标准,有助于推动图像分割技术的发展和应用。

语义分割OneFormer COCO

语音分割OneFormer ADE20K

OneFormer ADE20K 是一种基于 Transformer 的通用图像分割框架,它结合了分割与一次多任务训练设计,可以在单个多任务训练过程中对语义、实例和全景分割的 GT 进行训练。OneFormer 模型还引入了任务 token,使任务可以动态调整,支持多任务训练和推理。

语音分割OneFormer ADE20K

语意分割UniFormer

UniFormer 是一种基于 Transformer 的通用图像分割框架,它结合了分割与一次多任务训练设计,可以在单个多任务训练过程中对语义、实例和全景分割的 GT 进行训练。该模型还引入了任务 token,使任务可以动态调整,支持多任务训练和推理。

语意分割Semantic

可以把原图中的元素按类别进行分割处理,例如将天空、树木、河流、房屋等元素归纳为一类,不会展示元素的细节内容。然后,我们可以使用新的图像生成技术来生成新的图像,这些新的图像可以基于分割后的模块进行生成,从而实现更加精确和自然的图像生成效果。

语意分割Semantic

语意分割Anime Face

用于将图像中的人脸转换为动漫风格。它可以将原图中的人脸进行语义分割,并生成具有动漫风格的新图像。

语意分割Anime Face

总结

  1. Color Pallete调色板可以提取原图的颜色分布,用在新生成的图片上。
  2. Content Shuffle随机洗牌处理器将参考图的所有信息特征随机打乱再进行重组,生成的图像在结构、内容等方面和原图都可能不同,但在风格上仍有一丝关联。
  3. Recolor处理器可以用于“文生图”和“图生图”,可以选择注重颜色的亮度或饱和度。有三种模型可供选择,分别适用于Stable Diffusion 1.5和Stable Diffusion XL。
  4. 语义分割处理器可以在检测内容轮廓的同时将画面划分为不同区块,并对区块赋予语义标注,从而实现更加精准的控图效果。提供了三种预处理器可供选择:OneFormer ADE20k、OneFormer COCO、UniFormer ADE20k。
  5. Anime Face语义分割处理器可以将图像中的人脸转换为动漫风格。

颜色处理器和语义分割处理器就是这几种了,建议搭建都是亲自搭建下试试效果,需要 工作流 的朋友,私信我即可。

另外:我也只是一个AI绘画爱好者,不是专业的AI开发人员,所以收集的资料和我自己的一些理解可能不是最准确的,有什么问题,也欢迎大家留言或者加我为好友一起讨论。

做一次预告,下一篇将会介绍controlNet Tile模型处理器和剩下几个预处理器。

好了,今天的分享就到此结束啦!

如果大家对此感兴趣的话,不妨去尝试一下哦。最后,我要衷心感谢每一位阅读我文章的朋友。

如果你觉得文章还不错,麻烦随手点个赞,当然也欢迎关注我,这样你就能第一时间收到我的推送啦, 你的支持是我持续创作的动力 。