Mini DALL·E 3：设计师福音！开源AI绘画神器：对话式修图+智能问答，草图秒变商业大作

蚝油菜花
133 阅读4分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎨 「设计师福音！多校联合AI绘画神器：对话式修图+智能问答，草图秒变商业大作」

大家好，我是蚝油菜花。当别人还在为AI绘画的提示词绞尽脑汁时，这个国产框架已经让图像生成进入了「聊天式创作」时代！

你是否经历过这些创作噩梦：

  • 🖌️ 改了18版提示词，AI还是把「赛博朋克」画成「乡村杀马特」
  • 🖼️ 想微调构图某个细节，却要重新生成整张图
  • 💬 问AI「为什么把老虎画成橘猫」，它回你「根据描述生成」...

今天要解剖的 Mini DALL·E 3 ，正在重定义人机协作创作！这个由北理工领衔的交互式神器，用四大黑科技炸穿创作壁垒：

  • ✅ 对话式精修：像指导人类画师一样，用自然语言逐步调整细节
  • ✅ 智能问答：能解释「为什么天空是紫色」，并根据反馈立即重绘
  • ✅ 多模型协同：LLM+SDXL+IP-Adapter三脑联动，理解力堪比美术总监
  • ✅ 零训练部署：直接对接现有模型，企业级应用1小时上线

已有设计团队用它3轮对话完成商业海报，插画师靠它实时修正AI作品——你的创作流程，是时候进化到「动口不动手」阶段了！

🚀 快速阅读

Mini DALL·E 3是首个实现多轮交互式文生图的开源框架。

  1. 功能：支持通过对话生成、编辑图像，并保持多轮创作的内容一致性
  2. 技术：结合LLM的语义理解与T2I模型的生成能力，通过路由器架构协调工作流程

Mini DALL·E 3 是什么

Mini-DALLE3

Mini DALL·E 3 是由北京理工大学、上海AI Lab、清华大学和香港中文大学联合研发的交互式文本到图像（iT2I）框架。该系统突破传统文生图工具的单次生成模式，允许用户通过自然语言对话逐步优化图像内容。

其核心创新在于将大型语言模型（LLM）与文本到图像模型（T2I）深度结合，通过和等特殊标签实现多轮交互。用户无需专业提示词技巧，用日常语言描述需求即可获得高度匹配的图像输出，系统还能主动解释创作逻辑并接受反馈调整。

Mini DALL·E 3 的主要功能

minidalle3-instruction

  • 交互式图像生成：通过多轮对话逐步明确需求，生成符合描述的图像
  • 实时图像编辑：支持局部修改指令（如「把背景换成雪山」）
  • 内容连贯性保持：在多轮对话中自动维持角色特征和场景一致性
  • 创作过程可视化：可查看LLM生成的中间描述文本，理解AI创作逻辑

Mini DALL·E 3 的技术原理

minidalle3-arch

  • LLM语义解析：使用ChatGPT等模型将用户指令转化为结构化图像描述
  • 路由器架构：自动识别指令类型（生成/编辑/问答）并分配至对应模块
  • 分层内容控制：采用SDXL基础模型配合IP-Adapter实现细节级修改
  • 多模态对齐：通过特殊标记实现文本描述与图像区域的精准对应

如何运行 Mini DALL·E 3

1. 环境准备

下载模型检查点并保存至指定目录：

checkpoints
   - models
   - sdxl_models

2. 启动Web服务

设置OpenAI API密钥后运行：

export OPENAI_API_KEY="your key"
python -m minidalle3.web

3. 使用其他LLM

可按需切换为百川等国产模型：

python -m minidalle3.llm.baichuan
export OPENAI_API_BASE="http://0.0.0.0:10039/v1"
python -m minidalle3.web

当前已验证支持chatglm、baichuan、internlm等模型

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝