图像编辑新变革 !ComfyUI-Kontext-fp8本地部署教程,120B参数对标闭源巨头

0 阅读3分钟

一、介绍

ComfyUI 是一个强大的、模块化的 Stable Diffusion 界面与后端项目。该用户界面将允许用户使用基于图形/节点/流程图的界面设计和执行高级稳定的扩散管道。

关于 FLUX.1 Kontext Dev FLUX.1 Kontext 是 Black Forest Labs 最新推出的突破性多模态图像编辑模型,支持文本和图像同步输入,智能理解图像上下文并执行精确编辑。其开发版本为开源的 120 亿参数扩散 transformer 模型,具有出色的上下文理解和字符一致性维护能力,确保角色特征、构图布局等关键要素即使经过多次迭代编辑也能保持稳定。

该模型以120亿参数和角色一致性媲美GPT-4o,宣告图像生成工具的新的变革。

它与 FLUX.1 Kontext 套件具有相同的核心功能:

字符一致性:在多个场景和环境的图像中保留唯一元素,例如图像中的引用字符或对象。 编辑:对图像中的特定元素进行有针对性的修改,而不会影响其他部分。 样式参考:生成新颖的场景,同时根据文本提示保留参考图像的独特样式。 交互速度:图像生成和编辑的延迟最小。 虽然之前发布的 API 版本提供了最高的保真度和速度,但 FLUX.1 Kontext [Dev] 完全在本地计算机上运行,为希望进行实验的开发人员、研究人员和高级用户提供了无与伦比的灵活性。

二、容器构建说明

1. 部署ComfyUI

(1)使用命令克隆ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
(2)安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检。下面是 Mimiconda 的安装过程:

  • 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
  • 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
  • 遵循安装提示并初始化

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 Conda 环境,输入 yes 并按 Enter 键。

  • 运行 source ~/.bashrc 命令激活 Conda 环境
  • 再次输入 conda --version 命令来验证时候安装成功,如果出现类似 conda 4.10.3 这样的输出就成功了。
(3)创建虚拟环境

输入下面命令:

conda create -n comfyui
conda activate comfyui
(4)安装pytorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(5)安装项目依赖:
pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

python main.py

访问网址得到类似下图界面即表示成功:

1727063772952_419bea3e_14633769.png

2. 下载模型

(1)如:下载模型

模型的版本及下载链接如下:
Flux.1 Kontext Dev 原始模型权重及社区版本

Black Forest Labs原始版本:flux1-kontext-dev.safetensors
ComfyOrg 提供的 FP8 版本:flux1-dev-kontext_fp8_scaled.safetensors
社区 GGUF 版本:FLUX.1-Kontext-dev-GGUF
Flux.1 Kontext Dev 不同版本模型模型效果及显存要求对比
1751335475840_model_version.50dcf54a.jpg

从上面的结果中我提供不同显存占用的参考数据,这些输出结果除了模型版本之外之外其它参数都是一致的,对应显存数据是在 A100 40GB上运行的使用情况所以占用比会偏高,目前反馈在 4090 等显卡上完整版本也可以运行,但是生成时间较慢

  • 可以看到 fp8_scaled 损失结果较小
  • GGUF 版本我选择测试的版本质量有所损失,但对应的显存要求也会降低。

Text Encoder

相关模型保存位置

├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── flux1-dev-kontext_fp8_scaled.safetensors 或者 flux1-kontext-dev.safetensors
│   ├── 📂 unet/
│   │   └── 如 flux1-kontext-dev-Q4_K_M.gguf, # 仅在你需要使用 GGUF 版本时下载
│   ├── 📂 vae/
│   │   └── ae.safetensors
│   └── 📂 text_encoders/
│       ├── clip_l.safetensors
│       └── t5xxl_fp16.safetensors or t5xxl_fp8_e4m3fn_scaled.safetensors
(2)工作流

ComfyUI 的模板中已经为大家制作好了对应的模板,所以请在ComfyUI中找到 Flux.1 Kontext Dev 相关模板即可
1743660038268_image.png
1751335905274_flux_kontext_dev_template.54bbf9fe.jpg