今天对比下2种qwen-image的controlNet模型。让qwen支持Controlnet线稿、深度、重绘等功能。
DiffSynth-ControlNet
该模型实际上并非ControlNet，而是一个模型补丁，它支持三种控制模式：边缘检测（canny）、深度（depth）和图像修复（inpaint）。
只要串联在模型上即可。可以在K采样器之前，也可以直接放在模型后，和lora、auraFlow的顺序随意。
DiffSynth-ControlNets搭配qwen-image时，对提示词的要求会高一些。最好采用精细的画面描述，这样出的图会准确些。如果提示词过于简短，画面会崩。
canny边缘检测
提示词：
年轻可爱、具有中性气质的精灵。该精灵拥有白皙的肌肤与一头蓝色短发，一双硕大且灵动的蓝色眼眸，轮廓分明的尖耳，以及一张精致稚嫩的面庞 —— 其右脸颊上还点缀着一层淡淡的闪光碎屑，宛如细碎星尘。精灵身着一套华丽的白金色服饰，衣身布满繁复精美的流线型花纹，搭配高领设计，尽显奇幻风格与中世纪美学韵味。背景采用柔和的模糊米色调，进一步凸显出画面空灵缥缈、宛若异世的独特质感。
canny线条控制质量不错。人物的五官都能很好的还原出来。
Depth深度控制
提示词：现在简约风的客厅。
深度控制并不好，不能很好的还原房间原始的布局和结构。
inpaint局部修复
对于比较小的局部修复，有概率出不来，多抽卡就可以了。对于面积较大的区域，比较好。
提示词：花瓣形状的耳坠，渐变粉色，银粉色的链条，耳坠大小1cm左右，链条2cm左右
提示词：银色的王冠
Qwen InstantX ControlNet Union
“InstantX ControlNet Union”是 InstantX 团队为 Qwen-Image 模型发布的一个 统一版 ControlNet，在一个模型体中支持多个常见的结构控制方式 —— 如边缘 (Canny)、软边缘 (Soft Edge)、深度 (Depth)、人体姿态 (Pose) 等。
对于controlNet控制，用这个模型效果不错。
对于qwen-image模型，需要比较详细的提示词，才能达到很好的效果。但是加上instantX controlNet，提示词可以稍微简洁一些，效果也不错。
但是这个模型不支持局部修复，所以controlNet用InstantX，局部修复用DiffSynth模型补丁。
instantX canny边缘控制
canny边缘处理的效果很好，出乎意料。提示词也很简洁。
提示词：蓝色头发的精灵女孩
instantX openpose姿态控制
还原度也不错。
提示词：古风女孩
instantX depth深度控制
适合空间布局控制。还原度很高。比上面的diffSynth的深度控制效果好很多。房间结构，还有炒香，里面的小隔间，都很好的表现了出来。
提示词：现代简约风客厅
总结一下
controlNet的线稿、深度、姿态控制，用 InstantX ControlNet Union。
局部修复使用DiffSynth-ControlNets。
DiffSynth-ControlNet局部修复工作流
既然是模型补丁，只需要在串联在模型上即可。位置不限，类似Lora。
InstantX ControlNet Union工作流
union工作流，类似传统的controlNet应用，作用在条件节点上。在CLIP文本编码器和K采样器之间。
在线工作流
工作流都发布了在线平台，可以直接使用。
diffSynth controlNet局部修复工作流1.0 www.runninghub.cn/post/197447…
instantX controlNet工作流1.0
