大家好,我是每天分享AI应用的萤火君!
Flux自发布以来,一直稳坐AI绘画的头把交椅。围绕Flux官方模型,社区也做了大量的积极反馈,各种衍生模型层出不穷。不过一直比较遗憾的是:Flux的ControlNet模型效果都不咋滴,常用的Canny、Depth、Pose等Flux版本的ControlNet模型虽然也能找到,但是生成的图片往往控制效果不佳或者质量较差。
不过,最近黑森林工作室(Flux官方)发布了 Flux.1 Tools 系列模型,使用这些新模型可以获得很好的图片生成控制效果,最重要的是生成的质量也很不错,无论是局部重绘、图片高仿,还是风格合成,甚至模特换装、产品换背景都有不错的效果,算是补上了Flux生图的可控性短板。
效果展示
废话不多说,先看效果。
Flux.1 Tools 介绍
FLUX.1 Tools 包含四个不同的功能:
- FLUX.1 Fill:最先进的修复模型,结合文本提示词,可用于局部重绘和一键扩图。
- FLUX.1 Depth:基于深度图的结构,结合文本提示词,生成新的图片,实现Depth ControlNet的能力。
- FLUX.1 Canny:基于线稿图的结构,结合文本提示词,生成新的图片,实现Canny ControlNet的能力。
- FLUX.1 Redux:生成图片的变种或者说是风格迁移,实现类似 IPAdapter 的能力。
下边就来给大家展示下这些工具的处理能力,因为SD WebUI生态对 Flux 的跟进比较缓慢,这里将以ComfyUI为例进行讲解,大家本地跑不起来的可以使用我的 云镜像,插件和模型都已经装好了,可以直接体验。
云镜像地址:haoee.com/application…
需要 下载模型 和 工作流 ****的同学,也可以通过我的公众号进行获取,发消息“Flux Tools”到公众号“萤火AI绘画”即可获取。
Flux.1 Fill
我们将演示 Flux.1 Fill 模型的两个能力:局部重绘和一键扩图。
先看局部重绘:首先上传一张图,然后给需要重绘的区域添加遮罩,编写新效果的提示词,加载Flux.1 Fill模型,最后点击生成就可以了。这里使用的Fill模型是一个原版模型的量化版本,使用的显存更少,生图的质量损失很小。
再看一键扩图,相比“一键重绘”,主要的改变是使用“外补画板”来创建扩图区域的遮罩。
有了Flux.1 Fill,我们可以完全抛弃之前的Foocus局部重绘了,过渡更自然,生图质量更高。
FLUX.1 Depth
Flux.1 Depth 是一个使用深度图控制图像生成的模型,我们先要使用相应的ControlNet预处理器生成深度图,然后再作为生图条件传给采样器进行处理。除了使用深度图作为生图条件,我们还可以结合文本提示词条件,这样可以获得更多的控制效果。
为了增强 Depth 控制的灵活性,黑森林工作室还从 Flux.1 Depth 中提取出了一个 LoRA模型,这样我们就可以在自己训练的Flux模型上叠加官方提供的 Depth 控制能力了,不过效果会比原版的 FLUX.1 Depth 模型差一点点。
FLUX.1 Canny
Flux.1 Canny 是一个使用线稿图控制图像生成的模型,我们先要使用相应的ControlNet预处理器生成线稿图,然后再作为生图条件传给采样器进行处理。除了使用线稿图作为生图条件,我们还可以结合文本提示词条件,这样可以获得更多的控制效果。
黑森林工作室同样从 Flux.1 Canny 中提取出了一个 LoRA模型,我们可以在自己训练的Flux模型上叠加官方提供的 Canny 控制能力了,效果也是会比原版的 FLUX.1 Canny 模型差一点点。
FLUX.1 Redux
FLUX.1 Redux 是一个变种生成模型,它可以参考现有图片生成一张类似的图片,我们还可以参考多张图来生成新的图片,这种能力和之前常用的IPAdapter效果比较类似。
先看这个基本的变种图生成,输入一只猫咪图,生成类似的猫咪图。
再来看一个现实猫咪和卡通青蛙的合体。
最后官方的Pro版本可以通过提示词生成不同风格的重绘图,但是免费模型没有这个能力,不过社区在这块搞出了很多发明创造。比如下边的图是通过结合其它重绘处理,生成了结构类似但风格不同的新图片。
另外基于 Flux Fill + Redux 的模特换装、产品换背景、图案迁移等,社区都已经搞出来了,后续我也会给大家介绍,着急的同学可以在下方订阅我的专栏,先行体验。
资源下载
发消息“工作流”到公/众/号“萤火AI绘画”即可领取“Flux.1 Tools”的基本工作流,另外还包括其它几十个免费的ComfyUI 工作流。
或者你也可以直接通过我的云平台镜像使用:haoee.com/application…
制作不易,更多功能强大的工作流目前仅在我的AI绘画专栏中提供,专栏包括Midjourney、 Stable Diffusion WebUI 和 ComfyUI 的全面实战教程,每周都在持续更新,AI绘画常用的模型我也都整理好了,可以通过专属网盘下载,有兴趣的请点击链接查看:xiaobot.net/post/033402…
后记
用好 ComfyUI:
- 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的各种基础操作;
- 然后需要在实践过程中不断尝试、不断加深理解,提升综合运用各类节点进行创作的能力。
我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 ComfyUI,创作出满足自己需求的高质量作品。
以上就是本文的主要内容,如有问题,欢迎留言交流。