AI-ComfyUI入门02-使用LoRA生成凡人修仙传韩立图片(适配ZImageTurbo)

6 阅读12分钟

本教程专为新手设计,以提供的 ZImageTurbo韩立LoRA(凡人修仙传动漫风格)为核心,先讲解LoRA的基础背景知识,再一步步教你在ComfyUI中导入、调用该LoRA生成图片,最后简单介绍后续如何自主训练LoRA,全程实操、无复杂术语,跟着做就能上手。

一、LoRA基础背景知识(新手必看,搞懂再用)

在开始操作前,先搞清楚“LoRA是什么”“为什么要用它”,避免盲目操作,本质就是通过LoRA实现的,这部分基础能帮你理解后续训练逻辑。

1. LoRA的核心定义

LoRA 全称 Low-Rank Adaptation(低秩适配) ,是一种轻量级的模型微调技术,简单说就是:不修改基础模型(如ZImageTurbo)的核心参数,只训练一个小型的“附加模型”(即LoRA文件,如韩立_copy.safetensors) ,这个附加模型能“附着”在基础模型上,让基础模型快速学习到特定风格、人物、场景的特征。

比如文中提到的“韩立LoRA”,就是基于ZImageTurbo基础模型,专门训练的“韩立人物+凡人修仙传动漫风格”附加模型,导入后就能让ZImageTurbo生成符合要求的韩立形象,不用重新训练整个ZImageTurbo模型(省时、省算力)。

2. LoRA的核心优势(为什么不用直接训练基础模型?)

  • 轻量高效:LoRA文件体积小(通常几MB到几十MB,韩立LoRA也属于这个范围),远小于基础模型(ZImageTurbo约几个GB),导入、加载速度快,普通电脑也能轻松运行。
  • 不破坏基础模型:LoRA是“附加式”的,启用或关闭LoRA,都不会影响ZImageTurbo本身的参数,你可以同时导入多个LoRA(比如韩立LoRA+古风场景LoRA),灵活切换使用。
  • 针对性强:LoRA可以精准训练某一个特征——比如人物(韩立)、风格(半写实3D动漫)、场景(修仙洞府),这也是你之前想做“人物特征训练”的核心工具,比直接微调基础模型更精准、更省力。

3. 关键关联:LoRA与基础模型(ZImageTurbo)的关系

LoRA不能单独使用,必须依赖“基础模型(Base Model)”,二者是“依附与被依附”的关系:

  • 基础模型(ZImageTurbo):负责提供“基础生图能力”(比如生成人物轮廓、光影、基础纹理),是LoRA的“载体”;

  • LoRA(韩立):负责提供“专属特征”(比如韩立的脸型、绿色衣袍、半写实动漫质感),是对基础模型的“补充和定制”。

这也是为什么你下载的韩立LoRA,明确标注“基础模型:Z-image-turbo”——只有搭配这个基础模型,LoRA才能发挥作用。

4. 补充:你手中的韩立LoRA关键信息(后续操作会用到)

  • 模型类型:LoRA(后缀为.safetensors,是目前最安全、最常用的格式);
  • 适配基础模型:ZImageTurbo(必须用这个基础模型,否则会出现人物畸形、风格错乱);
  • 核心提示词:韩立, 凡人修仙传动漫, 绿色古代衣袍, 半写实3D动漫风格(调用时必须加入,才能触发LoRA的特征);
  • 文件路径:models/loras/韩立_copy.safetensors(后续导入ComfyUI时,要对应这个路径)。

二、ComfyUI入门准备(先做好这2步,避免踩坑)

ComfyUI是一款可视化的AI生图工具,操作逻辑是“拖拽节点、连接流程”,比SD WebUI更灵活,适合新手入门(不用记复杂命令),先做好准备工作:

1. 必备软件与文件(提前准备好)

  • ComfyUI:已安装并能正常运行(若未安装,可搜索“ComfyUI安装教程”,新手建议用一键安装包,无需手动配置环境);
  • 基础模型ZImageTurbo:下载后放入 ComfyUI/models/checkpoints 文件夹(这是ComfyUI默认的基础模型存放路径);
  • 韩立LoRA:将韩立_copy.safetensors 放入 ComfyUI/models/loras 文件夹(和你提供的文件路径一致,ComfyUI会自动识别该文件夹下的所有LoRA);下载地址:civitai.com/models/2183…
  • 提示词模板:提前保存好韩立LoRA的提示词(后续直接复制使用,避免输错)。

2. ComfyUI界面简单认识(新手不用记太细,会用核心功能即可)

打开ComfyUI后,界面分为3个核心区域,后续操作只用到这3个区域:

  • 左侧:节点面板(存放所有可拖拽的功能节点,比如“加载基础模型”“加载LoRA”“生成图片”等);
  • 中间:画布区域(拖拽节点、连接节点的地方,构建生图流程);
  • 右侧:参数面板(选中某个节点后,在这里调整参数,比如提示词、图片尺寸、生成步数等)。

三、ComfyUI调用LoRA(核心操作,一步一步来)

核心逻辑:加载ZImageTurbo基础模型 → 加载韩立LoRA → 设置提示词/参数 → 生成图片,全程拖拽节点,无需手动输入命令,新手也能快速上手。

步骤1:清空默认画布,准备构建流程

打开ComfyUI后,中间画布会有默认的节点(若有),右键点击画布空白处,选择“Clear All”(清空所有节点),避免默认节点干扰操作。

步骤2:加载基础模型(ZImageTurbo)

  1. 左侧节点面板,找到“Load Checkpoint”(加载基础模型)节点,拖拽到中间画布;
  2. 选中这个节点,右侧参数面板会出现“Checkpoint”下拉框,点击下拉框,找到“ZImageTurbo”(若看不到,检查是否放入了checkpoints文件夹,重启ComfyUI即可);
  3. 加载完成后,节点会显示“Ready”(就绪),此时基础模型已加载成功。

步骤3:加载LoRA(核心步骤)

  1. 左侧节点面板,找到“Load LoRA”(加载LoRA)节点,拖拽到画布(放在Load Checkpoint节点旁边,方便后续连接);

  2. 选中Load LoRA节点,右侧参数面板设置3个关键参数(新手直接按以下设置,不用修改):

    1. LoRA:下拉框找到“韩立_copy”(ComfyUI会自动识别loras文件夹下的文件);
    2. Strength(强度):设置为1.0-1.2(LoRA强度,数值越高,韩立的特征越明显;低于0.8可能无法触发特征,新手先设1.0);
    3. Strength Neg(负强度):设置为0(无需调整,默认即可)。
  3. 连接LoRA与基础模型:点击Load Checkpoint节点右侧的“model”接口(小圆圈),按住鼠标拖动,连接到Load LoRA节点左侧的“model”接口,这样就把LoRA附着到了基础模型上。

步骤4:设置提示词(触发韩立特征)

  1. 左侧节点面板,找到“CLIP Text Encode (Prompt)”(正向提示词)和“CLIP Text Encode (Negative Prompt)”(负向提示词)两个节点,拖拽到画布;

  2. 选中正向提示词节点,右侧参数面板输入:韩立, 凡人修仙传动漫, 绿色古代衣袍, 半写实3D动漫风格, 高清, 细节拉满, 正面视角(核心是包含韩立LoRA的提示词,可额外添加“高清”“细节拉满”提升生图质量);

  3. 选中负向提示词节点,输入:模糊, 低画质, 畸形, 丑, 不符合韩立形象, 现代服饰, 卡通化严重(负向提示词用于避免生成不好的效果,新手直接复制即可);

  4. 连接提示词节点:

    1. Load LoRA节点右侧的“clip”接口,拖动连接到正向提示词节点左侧的“clip”接口;
    2. 同样,Load LoRA节点右侧的“clip”接口,再拖动连接到负向提示词节点左侧的“clip”接口(两个提示词都需要关联LoRA)。

步骤5:设置生图参数(新手默认即可,无需修改)

  1. 左侧节点面板,找到“Empty Latent Image”(空白画布)节点,拖拽到画布;

  2. 选中该节点,右侧参数面板设置:

    1. Width(宽度):512 或 768(ZImageTurbo适配的分辨率,新手设512,生成速度快);
    2. Height(高度):768 或 1024(建议和宽度比例协调,比如512×768,避免人物拉伸);
    3. Batch Size(批量生成数量):1(新手先生成1张,测试效果)。
  3. 左侧节点面板,找到“KSampler”(采样器,核心生图节点),拖拽到画布;

  4. 选中KSampler节点,右侧参数面板设置(新手默认,无需调整):

    1. Sampler(采样器):Euler a(最快速、最稳定的采样器,适合新手);
    2. Steps(生成步数):20-30步(ZImageTurbo生图快,20步足够,步数越多越清晰,但速度越慢);
    3. CFG Scale(提示词相关性):7.0(数值越高,提示词越生效,过高会导致画面僵硬,新手设7.0)。

步骤6:连接所有节点,生成图片

  1. 连接Empty Latent Image节点右侧的“latent”接口 → KSampler节点左侧的“latent”接口;
  2. 连接正向提示词节点右侧的“conditioning”接口 → KSampler节点左侧的“positive”接口;
  3. 连接负向提示词节点右侧的“conditioning”接口 → KSampler节点左侧的“negative”接口;
  4. 连接Load LoRA节点右侧的“model”接口 → KSampler节点左侧的“model”接口;
  5. 左侧节点面板,找到“Save Image”(保存图片)节点,拖拽到画布,将KSampler节点右侧的“latent”接口 → Save Image节点左侧的“latent”接口;
  6. 所有节点连接完成后,点击KSampler节点右上角的“Queue”(队列)按钮,开始生成图片;
  7. 生成完成后,图片会自动保存到ComfyUI/output文件夹,同时在画布右侧的“Preview”(预览)窗口显示。

新手避坑提醒

  1. 若生成的图片没有韩立特征,检查3点:① LoRA是否加载正确(韩立_copy);② 强度是否≥1.0;③ 正向提示词是否包含“韩立”关键词;

  2. 若人物畸形、模糊,降低CFG Scale(比如5.0-6.0),或增加生成步数(30步);

  3. 若LoRA加载失败,检查文件是否放入models/loras文件夹,且后缀是.safetensors,重启ComfyUI即可。

四、后续延伸:如何自主训练LoRA(衔接人物特征训练需求)

学会调用LoRA后,你可能会想:“如何训练自己的LoRA?”(比如训练其他人物、专属风格),结合你之前关注的“人物特征训练”,这里简单介绍核心逻辑和步骤(后续可展开详细教程),让你有清晰的学习方向:

1. 训练LoRA的核心逻辑(和调用逻辑对应)

训练LoRA,本质是“让基础模型(ZImageTurbo)通过学习一批专属图片,生成一个附加模型(LoRA)”,核心是“数据准备+参数设置”,和你之前了解的“人物特征训练”完全一致——比如训练新的人物LoRA,就是让模型学习该人物的多角度、多表情图片,最终生成能精准还原该人物的LoRA。

2. 训练LoRA的必备条件(新手先了解,再准备)

  • 基础工具:训练LoRA不用ComfyUI(ComfyUI主打调用),推荐用 ai-toolkit(目前最主流、最易上手的LoRA训练工具,支持ZImageTurbo模型),kohya_ss(不推荐,教程较少);
  • 训练数据:比如训练人物LoRA,需要20-100张高清图片(1080P以上),覆盖人物不同角度、表情、穿搭(避免过拟合),比如训练“新人物A”,就准备100张A的高清图;
  • 基础模型:还是用ZImageTurbo(和你现在用的一致),训练时指定该模型作为基础模型;
  • 电脑配置:建议有独立显卡(显存≥30G),训练速度更快;显存不足也能训练,只是速度较慢(新手可先尝试小批量数据)。

3. 训练LoRA的简化步骤(新手入门版)

  1. 准备训练数据:整理图片(去水印、统一尺寸),给每张图片标注标签(比如“新人物A,短发,西装,商务风格”),触发词固定(比如“新人物A_character”);
  2. 安装ai-toolkit
  3. 开始训练:点击“开始训练”,等待训练完成(根据数据量和电脑配置,耗时几小时~几天不等),看电脑配置;
  4. 测试与优化:训练完成后,将生成的LoRA文件放入ComfyUI的loras文件夹,按前面的方法调用,测试效果,若特征不明显,调整参数重新训练。

五、新手总结与后续学习方向

  1. 本次核心:学会用ComfyUI加载ZImageTurbo基础模型和韩立LoRA,掌握“加载-连接-生成”的完整流程,能成功生成符合要求的韩立图片,就是入门成功;

  2. 后续方向:① 熟练调整参数(比如LoRA强度、生成步数),优化生图效果;② 学习用kohya_ss训练自己的LoRA(人物、风格均可);③ 尝试导入多个LoRA,组合生成更复杂的图片(比如韩立LoRA+修仙场景LoRA)。

如果操作中遇到具体问题(比如节点连接错误、LoRA加载失败)可以随时补充需求。

  • 效果图

image.png

09fa0f046ed1f308dd3ff15193fd7124.png

  • 工作流

image.png

{
  "1": {
    "inputs": {
      "unet_name": "z_image_turbo_bf16.safetensors",
      "weight_dtype": "default"
    },
    "class_type": "UNETLoader",
    "_meta": {
      "title": "UNet加载器"
    }
  },
  "2": {
    "inputs": {
      "clip_name": "qwen_3_4b.safetensors",
      "type": "qwen_image",
      "device": "default"
    },
    "class_type": "CLIPLoader",
    "_meta": {
      "title": "加载CLIP"
    }
  },
  "3": {
    "inputs": {
      "vae_name": "ae.safetensors"
    },
    "class_type": "VAELoader",
    "_meta": {
      "title": "加载VAE"
    }
  },
  "4": {
    "inputs": {
      "lora_name": "韩立_copy.safetensors",
      "strength_model": 0.85,
      "strength_clip": 1,
      "model": [
        "1",
        0
      ],
      "clip": [
        "2",
        0
      ]
    },
    "class_type": "LoraLoader",
    "_meta": {
      "title": "加载LoRA"
    }
  },
  "5": {
    "inputs": {
      "text": "韩立, 凡人修仙传动漫, 绿色古代衣袍, 半写实3D动漫风格, 长发",
      "clip": [
        "4",
        1
      ]
    },
    "class_type": "CLIPTextEncode",
    "_meta": {
      "title": "CLIP文本编码"
    }
  },
  "6": {
    "inputs": {
      "text": "blurry, low quality, bad anatomy, distorted, deformed",
      "clip": [
        "4",
        1
      ]
    },
    "class_type": "CLIPTextEncode",
    "_meta": {
      "title": "CLIP文本编码"
    }
  },
  "7": {
    "inputs": {
      "width": 1024,
      "height": 1024,
      "batch_size": 1
    },
    "class_type": "EmptyLatentImage",
    "_meta": {
      "title": "空Latent图像"
    }
  },
  "8": {
    "inputs": {
      "seed": 832359188207774,
      "steps": 6,
      "cfg": 1.5,
      "sampler_name": "euler",
      "scheduler": "simple",
      "denoise": 1,
      "model": [
        "4",
        0
      ],
      "positive": [
        "5",
        0
      ],
      "negative": [
        "6",
        0
      ],
      "latent_image": [
        "7",
        0
      ]
    },
    "class_type": "KSampler",
    "_meta": {
      "title": "K采样器"
    }
  },
  "9": {
    "inputs": {
      "samples": [
        "8",
        0
      ],
      "vae": [
        "3",
        0
      ]
    },
    "class_type": "VAEDecode",
    "_meta": {
      "title": "VAE解码"
    }
  },
  "10": {
    "inputs": {
      "filename_prefix": "hanli",
      "images": [
        "9",
        0
      ]
    },
    "class_type": "SaveImage",
    "_meta": {
      "title": "保存图像"
    }
  }
}