【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景-终章

1,657 阅读6分钟

我计划使用40个工作流分成3-4篇文章来介绍Stable Diffusion的controlNet各种预处理器以及它的使用效果。

并且做成像字典一样的记录,后面需要使用时,也可以随时查阅,当然这些工作流我也会分享,需要的朋友可以在文章底部加我微信获取。

这是我们的最后一篇controlNet实践文章,看到这里你已经是非常厉害的了,给自己鼓个掌。

第一篇: 【comfyui】40个工作流一次让你彻底掌握SD controlNet的使用场景(1)-线性处理器

第二篇: 【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景(2)-法线和深度处理器

第三篇: 【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景(3)-openpose

第四篇: 【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景(4)-颜色和语义分割

另外本章增加comfyui controlNet具体的安装步骤,对于不方便下载模型和下载插件的同学提供网盘地址。

comfyUI controlNet aux插件安装

第一种方式还是推荐使用comfyui manager进行安装

通过 ComfyUI Manager 来安装此节点,直接搜索ControlNet找到名为 ComfyUI's ControlNet Auxiliary Preprocessors 节点,作者是Fannovel16,(需要科学上网)

没有科学上网的朋友,可以从文末提供的网盘链接直接下载,解压后放入以下路径:

ComfyUI/custom_nodes

模型则放在ComfyUI/models/controlnet

值得一提的是,如果你配置了comfyui的extra_model_paths.yaml中webUI路径,那你其实可以直接把controlNet模型放置在你的webUI的models/controlnet里,这样你的webUI和comfyui可以同时使用一份模型,节省很大的磁盘空间。

选择这个插件进行安装就行。

本章我们介绍剩余的几个预处理 tile inpaint SAM,还有一些其他的不是很长用。

Tile

Tile 可以说是整个重绘类中最强大的一种模型,

绘制超分辨率的高清大图一直是很多极客玩家的追求,但限于显卡高昂的价格和算力瓶颈,直出图的方式始终难以达到满意的目标。后来聪明的开发者想到 Tile 分块绘制的处理方法,原理就是将超大尺寸的图像切割为显卡可以支持的小尺寸图片进行挨个绘制,再将其拼接成完整的大图,虽然绘图时间被拉长,但极大的提升了显卡性能的上限,真正意义上实现了小内存显卡绘制高清大图的操作。

在绘制图像时启用 Tile 模型,它会主动识别单独块中的语义信息,减少全局提示的影响。具体来说,这个过程中 Tile 进行了 2 种处理方式:

  1. 忽略原有图像中的细节并生成新的细节。
  2. 如果小方块的原有语义和提示词不匹配,则会忽略全局提示词,转而使用局部的上下文来引导绘图。

在之前图生图给大家介绍重绘幅度参数时,有提到增大重绘幅度可以明显提升画面细节,但问题是一旦设定重绘幅度画面内容很容易就发生难以预料的变化,而配合 Tile 进行控图就能完美的解决这个问题,因为 Tile 模型的最大特点就是在优化图像细节的同时不会影响画面结构。

Tile

inpant

主要作用是使预训练的文本到图像扩散模型能够生成具有图像提示的图像。该预处理器提供了垫图功能,用户可以上传一张图片,然后经过这个预处理器,图片就会在这张上传的图片的基础上进行生成。

inpant

SAM

Segment Anything Model(SAM)分割一切,我们当作了一个普通的语意分割预处理器测试下效果,但是它的用途很广泛,而且非常使用,特别是在检测和遮罩联合使用下,后期我们还会遇到它,这里就不多说

SAM

其他

大家可以自行尝试下最后两种,我这里因为环境有点问题,暂时没完全跑出效果图,手动汗~~~

总结

  1. Tile:这是一种强大的重绘类模型,通过将大尺寸图像切割成小尺寸块单独绘制,再拼接成完整图像,从而实现小内存显卡绘制高清大图。Tile模型能够识别单独块中的语义信息,减少全局提示的影响,优化图像细节同时不改变画面结构。

  2. Inpaint:这个预处理器允许用户上传一张图片,模型会在该图片的基础上进行生成,实现了基于图像提示的图像生成。

  3. SAM (Segment Anything Model):SAM是一个通用的语义分割预处理器,用途广泛,尤其在检测和遮罩联合使用时效果显著。虽然在这篇文章中只是简单测试,但它在实际应用中非常有用。

需要安装包和模型的朋友,私信我,备注 controlNet 即可获取下载链接

好了,今天的分享就到此结束啦!

如果大家对此感兴趣的话,不妨去尝试一下哦。

这是我们controlNet系列文章的终结文章,在这个过程中,对我自己的提升是巨大的,以往对controlNet的使用都是几种,现在对他们的认识更加全面了

通过这个系列文章的撰写,我对controlNet的理解和应用能力得到了很好的提升。从最初对controlNet的几种处理器的简单了解,到现在对它们有了更全面的认识,这个过程让我深刻体会到了Stable Diffusion和comfyui的乐趣和挑战。

在撰写文章的过程中,我不仅学习了各种预处理器的原理和操作方法,还深入了解了它们在不同场景下的应用效果。这让我对controlNet的功能和潜力有了更清晰的认识,也让我更加自信地应对各种图像处理需求。

同时,通过分享这些知识和经验,我也希望能够帮助更多的朋友们了解和掌握controlNet的使用技巧。

我相信,只有大家共同学习和进步,我们才能更好地应对未来的挑战,创造出更多令人惊叹的作品。

最后的最后,感谢所有关注和支持这个系列文章的朋友们。

是你们的陪伴和鼓励,让我有动力坚持下来,完成了这个系列文章的撰写。

如果你觉得文章还不错,麻烦随手点个赞吧,当然也欢迎你给关注我,这样你就能第一时间收到我的推送啦, 你的支持是我持续创作的动力 。