5分钟手把手系列(九):ComfyUI从入门到了解~

1,841 阅读9分钟

ComfyUI

ComfyUI是一款基于节点工作流的Stable Diffusion图形界面工具,专注于提供高效、灵活的AI图像生成体验。它采用模块化设计,用户可通过拖拽节点构建复杂工作流,精准控制生成流程的每个环节(如模型加载、采样器配置、图像解码等),支持Stable Diffusion、ControlNet等模型的深度定制。

相比传统SD WebUI,其显存占用减少30%-50%,能在低显存设备上处理高分辨率图像及复杂场景,同时支持工作流保存与复用,提升创作效率。该工具提供多节点并行处理、批量生成功能,并兼容WebUI的模型资源,用户可通过配置文件复用已有模型库。最新新版本优化了界面布局,增加工作流管理模块和实时预览尺寸调节,支持中文插件安装。专业用户可扩展自定义节点,集成外部算法实现风格迁移、动画生成等高级应用,适用于数字艺术创作、产品设计、影视特效等多个领域。

下图就是一个经典的玻璃瓶图片生成工作流,提示词“beautiful scenery nature glass bottle landscape, purple galaxy bottle,”

ComfyUI安装

ComfyUI目前安全非常简单,目前已经出桌面版本

Github:github.com/comfyanonym…

APP下载地址:www.comfy.org/download ,选…

下载后点击安装包默认安装即可,安装完成后会联网完成相应的python依赖包下载与安装。

初识ComfyUI

安装完成后,打开,app会展示现默认的一个最简单文生图工作流

此时新手会碰到第一个问题,如何选择SD的底模,SD的各种版本后缀又是什么意思?

SD 基础模型介绍

  • SD 1.x:这是Stable Diffusion的早期版本,主要用于图像生成任务。这里的1.x表示1系列的主要版本,x是一个变量,表示具体的子版本。
  • SD 2.x:这是SD 1.x的后续版本,对模型进行了优化和改进,提高了图像生成质量和速度。同样,2.x表示2系列的主要版本,x是一个变量,表示具体的子版本。
  • SD 1.5:这是一个在SD 1.x基础上进行优化的版本,它在文本到图像生成任务上表现尤为出色,能够生成更符合用户需求的图像。
  • SDXL 1.0:这是一个在SD 1.5基础上进一步优化的版本,采用了一种名为“对抗性扩散蒸馏”(Adversarial Diffusion Distillation,简称ADD)的新技术,使得模型能够在保持高采样保真度的同时实现实时图像生成。
  • SDXL Turbo:它是在SDXL 1.0的基础上进行迭代的版本。特点是生成图像的效率非常高,几乎可以做到实时响应。在用户输入完文本提示后,图像就能立即显示。SDXL Turbo不仅速度快,生成的图像质量也非常高,能够精准还原提示文本的描述。得益于其采用的对抗性扩散蒸馏技术,该技术可以在高质量图像下以1-4个步骤对大规模基础图像扩散模型进行采样,同时避免了其他蒸馏方法中常见的失真或模糊问题。存在的局限性:目前它只能生成固定像素的图片,对于一些细节可能表现的不够好,如人的手指、面部表情等,无法完美的展现照片级真实感。目前SDXL Turbo只能用于学术研究,还未开放商业权限。

微调模型

知道了基础模型的版本概念之后,我们可以了解一些常见的基于SD对应版本优化的模型,以便即插即用。类似与LLM微调之后的模型,毕竟大部分人肯定不会直接使用LLM的instruct或者base版本的基础模型。

笔者目前比较推荐的两个模型如下:

majicMIX realistic 麦橘写实 SD1.5

专门用于生成唯美的人像图片,目前已更新至第七版。融合了多种模型,能够生成具有吸引力的面部特征,并能有效地处理暗部细节。

modelscope.cn/models/Muse…

动漫二次元2.5D

modelscope.cn/models/Void…

这个是比较好的动漫风SD底模,大家如果想尝试卡通风格,可以使用这个底模

模型下载网站

Civitai(C站)

下载SD模型首选就是C站,需要VPN。平台上面有各种实用的基础模型,Lora 模型等资源供大家下载,而且每一个模型或者 Lora 下面会有每张图片的生成参数。

2、哩布哩布AI (liblibai.com)

哩布哩布AI是来自国内的 Stable Diffusion AI 模型分享社区,它收集了很多不同类型的Stable Diffusion模型,包括知名的和小众的,资源非常丰富。

网站内容和布局和知名的 Civitai 几乎一样。包括模型分享下载和图片灵感两个模块!

非常适合刚接触Stable Diffusion的新手用户来这里找资源和学习。

3、吐司(Tusi.Art)

无需fq,这是一个 AI 模型分享平台,你不仅可以上传/下载模型,还可以免费在线运行模型,实现在浏览器上就能使用 Stable Diffusion 进行生图,一键做同款。

4、抱脸网 (huggingface)

这个网站需要fq,在上面你可以直接获取大量SD和DDL官方模型下载地址。

但网站全部英文,且没有图片预览,使用体验可能没有上面几个网站好,但下载体验却非常流畅,几乎没有限速和等待。

如果您想快速找到并下载到需要的模型,抱脸网无疑是最佳选择。

ComfyUI节点介绍

  • Checkpoint加载器:作为工作流起点,用于加载Stable Diffusion大模型(如SD 1.5/SDXL),自动解析模型的VAE和CLIP组件,支持自定义VAE模型加载
  • CLIP文本编码器:包含正向/负向提示词输入节点,分别连接K采样器的正负条件输入,实现文本条件控制
  • 空Latent:定义生成图像的尺寸和批量数量,输出潜空间数据至K采样器。这是文生图流程的初始参数设定节点
  • K采样器:核心生成节点,集成模型、提示词、潜空间数据,通过采样算法(如Euler/DDIM)执行扩散过程。支持调节迭代步数、CFG值等关键参数
  • VAE解码器:将K采样器输出的潜空间数据转换为可视图像像素数据,完成图像生成过程的最终输出转换
  • ControlNet应用节点:通过Apply Controlnet节点实现姿势控制、边缘检测等高级控制,需配合预处理器和模型文件使用
  • lora节点:LoRA就是底模的补丁,一个底模的size通常在几G左右,训练底模的成本无疑是巨大的;而一个LoRA往往只有几十M~几百M左右,训练和使用的成本显著降低同时,它还能保障不错的生图质量与风格。

典型应用场景

  • 文生图:Checkpoint→CLIP→空Latent→K采样器→VAE解码→保存
  • 图生图:加载图像→VAE编码→K采样器→VAE解码
  • 局部修复:图像加载→遮罩编辑→Latent噪波遮罩→K采样器

上面的几个典型工作流都会在下图进行介绍

文生图

当我们下载好majicMIX模型后,我们将majicmixRealistic_v7.safetensors文件放到/Users/用户名/Documents/ComfyUI/models/checkpoints目录下即可

默认的checkpoint加载器就会显示你已经下载的模型

选择底模

提示词

上门是正向提示词,表示希望图片出现的元素和背景之类的描述

beautiful scenery nature glass bottle landscape, purple galaxy bottle,

下面是负向提示词,表示不希望图片出现的元素或者现象,例如

(EasyNegative),(watermark), (signature), (sketch by bad-artist), (signature), (worst quality), (low quality), (bad anatomy), NSFW, (normal quality)

Latent图像

设置分辨率和一次训练产生图片的数量

K采样器

  • 随机种子 (seed) 控制噪声生成规律:
  • fixed:固定种子,相同参数生成一致结果
  • randomize:每次随机生成
  • increment/decrement:种子值递增/递减 
  • 步数 (steps) 降噪迭代次数,推荐 20-30 步平衡质量与效率。步数越多细节越精细,但边际效益递减 
  • CFG 值 提示词引导强度,推荐 7-9。过高(>12)会导致图像生硬或过曝 
  • 采样器 (sampler_name) 算法选择直接影响生成路径:
  • dpmpp_2m:写实风格首选
  • euler:快速生成基础内容
  • lcm:极速生成(4-8 步即可)
  • 调度器 (scheduler) 控制噪声衰减节奏:
  • karras:增强对比度,适合高细节需求
  • normal:柔和过渡,减少人工感 
  • 降噪强度 (denoise) 值域 0-1,默认 1.0 完全降噪。降低该值可保留部分原始噪声实现创意效果,高清修复建议 0.2-0.5 

执行

进过上述步骤设置后,点击执行,就可以在“保存图片”节点生成图片,生成的图片可以右键另存为保存,也可以在“/Users/用户名/Documents/ComfyUI/output”路径下查看,也可以在侧边栏的历史记录查看

图生图

既然学会了文生图,那简单的图生图也不在话下了,点击菜单“工作流-浏览模板”,选择“图像到图像”的工作流模板,就会生成下图的工作流模板。

图生图工作流与文生图工作流唯一的区别就是,之前文生图的“空Latent图像”节点被替换为“加载图像 + VAE解码”这两个节点的组合,图片的生成有了原始图片的参考,本文上传了一张卡通图片,并且提示词改为

1 girl,blue hair

从最种生成的效果来看,改变最明显的就是女孩的头发颜色,生成的图片与原始图片保持了80%以上的类似

文生图最关键的参数就是K采样器种的“降噪”参数,当该参数为0时,图片完全没有变化,反之为1时,几乎全部变化。

Lora使用

既然大家已经学会了文生图,图生图等AI做图方式,那其实增加lora节点也应该融会贯通了,在checkpoting加载器节点之后增加“加载lora”节点,即可通过很小的成本实现的图片风格变化。

本文使用的lora模型是:www.liblib.art/modelinfo/4…

总结

本文旨在使读者对ComfyUI有初步的了解,希望读者对AI做图有了初步的了解与入门,并对准备学习和正在学习ComfyUI的同学一些帮助和引导。