前言
ComfyUI 快速入门(环境搭建)- 掘金(jiejin.cn)
上篇文章中,我们介绍了 ComfyUI 的基础环境搭建,以及常用插件安装。本篇将介绍 ComfyUI 的基本概念与核心原理。
核心原理
ComfyUI 的核心概念无非就是三点:扩散模型、模块化以及工作流。
1. 扩散模型
Stable Diffusion 是一种用于图像生成的深度学习模型,它能够从噪声中生成高质量的图像。这个模型通过逐步去噪的方法,从一个随机噪声图像开始,通过多个迭代步骤逐渐生成目标图像。
这么说可能有点抽象,简单讲就像是从一张全是噪点的图片中,逐步擦掉噪声、添加细节,最终生成清晰、高质量图像的过程。
2. 模块化
ComfyUI采用模块化设计,所有的功能都被封装成独立的模块(或称为“节点”)。这些节点可以自由组合,再次形成一个模块,我们可以自定义各个模块实现自己的功能,帮助我们打造各种复杂的图像生成和处理流程。每个节点都有特定的输入和输出,可以连接其他节点,形成一个完整的工作流。
ComfyUI 允许我们自定义组合节点,形成一个个模块,各执其职。
3. 工作流
工作流是ComfyUI的核心概念之一。用户可以通过拖拽和连接不同的节点来创建自定义的图像处理流程。每个节点代表一个特定的操作,例如图像的加载、预览、保存等。工作流的灵活性使得用户能够根据具体需求定制自己的图像生成任务。
正是ComfyUI 的高度自定义,不像 WebUI 一样死板,让我们可以更高效地运用模型和一些处理器,生成更符合预期的产物。
工作流亦可自定义,也可复用他人开源的,许多网站都有大神分享一些自己的工作流,像比如 LibLib-哩布哩布 是国内比较火的网站了,我们可以找一些自己感兴趣的工作流,下载下来拖到到自己的 comfyUI 中,或者直接在哩布官网提供的在线 comfyUI 编辑器直接打开。
基本概念
1. 节点(Node)
节点是 ComfyUI 中的基本单元,每个节点代表一个特定的功能或操作。节点有输入和输出端口,用于接收和传递数据。
拿最基本的工作流模板举例子:
每个节点有着不同的作用
- Checkpoint加载器:大模型加载器,里面可供选择的模型对应着我们comfyUI目录下的checkpoints文件夹
- CLIP文本编辑器:文本编辑器,提供给我们写正反提示词的
- 空Latent:可以理解为一个未被初始化、未包含任何信息的潜变量,通常表现为图像生成的起点,或者作为“无图像”状态的表示。也可以说是一种占位符。
- K采样器:一个重要的节点,代表了采样过程中使用的特定算法或策略,允许我们进行各种配置:
- VAE解码:指在生成模型中使用变分自编码器对潜在空间的向量进行解码,生成图像的过程
- 保存图像:顾名思义,就是将我们生成的图像保存
当然,comfyUI 的节点肯定不止这些,相较于官方自带的节点,comfyUI 允许我们扩展自定义节点,我们可以在插件市场找到。通过自定义节点,让comfyUI 有了更高的上限,不仅仅只能文生图,还能文生视频,文生音频。这就是 ComfyUI 的魅力所在。
2. 连接
连接用于将节点连接起来,形成一个工作流。通过连接,数据可以在节点之间传递。连接的方向表示数据流动的方向,从输出端口流向输入端口。
每个节点都有出口或是入口,我们通过将各个节点进行关系连接,最终形成一个完整的工作流,实现完全个性化的需求。
3. 参数
每个节点都有自己的参数,可以调整节点的行为。相比如上面的K采样器,允许我们配置各种参数:
- 随机种子决定了初始的噪声图像,从而影响最终生成的图像结果
- 运行后的额外操作
- 步数是指K采样器在生成图像时的迭代次数
- CFG用于在生成过程中增强特定特征或样式
- 采样器是生成图像过程中使用的算法
- 调度器控制采样器在生成过程中的步数和步骤间的参数变化
- 降噪指数范围在 0-1.0,指数越高降噪越程度越高
4. 控制面板(Control Panel)
控制面板是用户与 ComfyUI 进行交互的主要界面。在控制面板中,用户可以查看和编辑工作流,调整节点的参数,启动和停止图像生成任务等。
通过扩展 ComfyUI 的插件,Manager这款插件给 ComfyUI 的交互界面带来了极大的便利,通过它,我们可以自动安装工作流所需的各种插件,方便了插件、模型的安装。
最后
推荐几个常用的模型以及工作流下载网站:
- LiblibAI:LiblibAI-哩布哩布AI
- Civitai:civitai.com
- Huggingface:huggingface.co
码字不易,感谢三连!
已将学习代码上传至 github,欢迎大家学习指正!
技术小白记录学习过程,有错误或不解的地方还请评论区留言,如果这篇文章对你有所帮助请 “点赞 收藏+关注” ,感谢支持!!