LoRA是一种文件体积小、使用灵活的模型,你可以简单把它理解成“滤镜”,它可以让你的图片具有特定的风格、内容、细节等。
-
使画面具有特定的画风(如水墨画)
-
使人物具有某类人物的特征(如某些游戏角色)
-
使画面具有特定的细节
以上这些都可以通过LoRA来实现。
LoRA 的核心思想是,不修改原始大模型的参数,而是在模型里加一个“小模块”,只训练这个小模块。它有下面几个核心优势。
-
极大节省显存和存储:只需保存小矩阵(几十-几百 MB),而不是整个大模型(1G起步)。
-
训练更快:因为更新的参数少。
-
易于组合:可以把不同任务的 LoRA “叠加”在一起,用来控制风格或功能。
-
共享方便:社区里很多 LoRA 文件,可以随时加载到主模型里。
一、下载教程模型
如果你的电脑里面有其他的相关模型,那你可以跳过这一步,如果没有,那你可以下载本篇教程所使用到的模型。
需要魔法网络。如果你没有,可以去文末的网盘下载。
DreamShaper v8
工作流使用DreamShaper v8基础模型,他是基于SD1.5训练的。具有很好的真实和动漫风格。
墨心/MoXin
国画水墨风:
清漪
看过动漫完美世界的应该懂,生成的效果那个动漫人物很像。
二、模型存放:
-
将DreamShaper模型放入
models/checkpoints/SD1.5文件夹 -
将MoXin和QingYi的LoRA文件放入
models/loras/SD1.5文件夹
对应的模型目录使用
SD1.5文件夹存放, SD1.5、SD3.0、SDXL、FLUX 等各种模型,模型资源并不一定通用。分目录用来更好的区分。对于模型文件,也可以自己重命名,加上一些关键信息,用来区分
三、重启ComfyUI
安装完成后重启或刷新ComfyUI,让 ComfyUI 识别新增的模型
四、下载工作流文件
公众号后台私信【lora入门工作流】领取工作流文件。
下载之后,打开comfy软件,ctrl+o 快捷键导入工作流文件。
工作流说明:
三个工作流,分别是:
-
基础模型
-
基础模型 + 墨心LoRA(权重1.0)
-
基础模型 + 墨心LoRA(权重0.2) + 清漪LoRA(权重0.1)
他们全部采用了统一的这个种子,保证变量是一致的用于对比应用 LoRA 前后的这个效果,你可以试着修改不同的这个权重来对比效果
双lora工作流详解:
我们前面说过LoRA 的核心思想是,不修改原始大模型的参数,而是在模型里加一个“小模块”。
所以它生效的地方就在大模型后面,如下图,在checkpoint的MODEL输出后面,就可以插入LoRA,多个LoRA可以以此叠加。
一)LoRA节点的3 个参数说明
1. LoRA名称
-
即你要加载的 LoRA 文件。
-
本质上就是告诉模型:要给主模型挂载哪个“LoRA补丁”。
-
不同的 LoRA 对应不同的风格、人物、绘画风格、服饰、动作等。
2. 模型强度
-
控制 LoRA 对 扩散模型权重 的影响程度。
-
范围通常是
0.0 ~ 1.0(甚至可以更大)。 -
数值越大,LoRA 的风格/特征越强烈;数值越小,主模型的原本效果越保留。
例:
-
0.1→ 轻微加入 LoRA 效果(只是点缀)。 -
0.7→ 明显的 LoRA 风格。 -
1.0+→ 强烈套用 LoRA,有时会“过拟合”导致画面僵硬。
3. CLIP强度
-
控制 LoRA 对 文本编码器(CLIP) 的影响程度。
-
CLIP 负责理解你的 prompt 描述,如果 LoRA 在 CLIP 上的权重很高,它会改变 prompt 的解读方式。
常见用法:
-
保持
1.0(默认),保证 LoRA 正常影响你的文字提示。 -
降低到
0.5→ 让 CLIP 解读时更偏向原模型,不让 LoRA 过度影响语义。 -
提高到
>1.0→ 强化 LoRA 对文本的影响,让 prompt 更强烈触发 LoRA 风格。
二)K采样器参数说明
下面这组参数,在这个模型下,效果还不错,可以当作参考。
-
步数:25
-
Cfg: 6.5
-
采样器:dpmpp_2m
-
调度器:karras
提示词1:
1girl,jewelry,hair ornament,solo,blue eyes,necklace,forehead mark,earrings,long hair,facial mark,dress,upper body,blurry background,black hair,looking at viewer,blurry,expressionless,brown hair,closed mouth,chinese clothes,hair flower,flower, extremely detailed CG unity 8k wallpaper
提示词2:
人物有点崩,画面效果感觉很不错。
englai Fairyland,Chinese mythology,Colorful auspicious clouds,
autumn, autumn_leaves, falling_leaves, holding_leaf, leaf, leaf_background, leaf_hair_ornament, maple_leaf, aki_shizuha, leaf_print, starfish, anger_vein, ginkgo_leaf, leaf_on_head, spoken_anger_vein, tree, waterfall, sweet_potato, dragonfly, acorn, solo, braid, blurry_foreground, 1girl, day, painting, depth_of_field, blurry, long_hair, branch, hair_ornament, leaves_in_wind, forest, outdoors, nature, campfire, shirt, looking_at_viewer, onsen, koi, sitting, masterpiece, best quality, (best quality), ((masterpiece)), (highres), original, extremely detailed 8K wallpaper, (an extremely delicate and beautiful),((detailed face)),beautiful detail eyes,hair fluttering in the wind,messy hair,lens flare,
1girl,full body,(golden eye),(red eye),(wolf ear),(yellow hair),(wolf tail),(wolf ears),(a cute :1.1),(wolf ear),beautiful detailed eyes,orange hair, very long hair,small breasts,(looking at viewer), fashionable, woman, vibrant, outfit, posing, front, colorful, dynamic, background, elements, confident, expression, holding, statement, accessory, majestic, coiled, around
记得:公众号后台私信【lora入门工作流】领取工作流文件、以及相关模型和LoRA
预告🎉
最近将要出一系列comfyUI的学习资料,带你手把手入门comfyUI。期待你的关注。