❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎨 「设计师福音！多校联合AI绘画神器：对话式修图+智能问答，草图秒变商业大作」

大家好，我是蚝油菜花。当别人还在为AI绘画的提示词绞尽脑汁时，这个国产框架已经让图像生成进入了「聊天式创作」时代！

你是否经历过这些创作噩梦：

• 🖌️ 改了18版提示词，AI还是把「赛博朋克」画成「乡村杀马特」
• 🖼️ 想微调构图某个细节，却要重新生成整张图
• 💬 问AI「为什么把老虎画成橘猫」，它回你「根据描述生成」...

今天要解剖的 Mini DALL·E 3 ，正在重定义人机协作创作！这个由北理工领衔的交互式神器，用四大黑科技炸穿创作壁垒：

• ✅ 对话式精修：像指导人类画师一样，用自然语言逐步调整细节
• ✅ 智能问答：能解释「为什么天空是紫色」，并根据反馈立即重绘
• ✅ 多模型协同：LLM+SDXL+IP-Adapter三脑联动，理解力堪比美术总监
• ✅ 零训练部署：直接对接现有模型，企业级应用1小时上线

已有设计团队用它3轮对话完成商业海报，插画师靠它实时修正AI作品——你的创作流程，是时候进化到「动口不动手」阶段了！

🚀 快速阅读

Mini DALL·E 3是首个实现多轮交互式文生图的开源框架。

1. 功能：支持通过对话生成、编辑图像，并保持多轮创作的内容一致性
2. 技术：结合LLM的语义理解与T2I模型的生成能力，通过路由器架构协调工作流程

Mini DALL·E 3 是什么

Mini DALL·E 3 是由北京理工大学、上海AI Lab、清华大学和香港中文大学联合研发的交互式文本到图像（iT2I）框架。该系统突破传统文生图工具的单次生成模式，允许用户通过自然语言对话逐步优化图像内容。

其核心创新在于将大型语言模型（LLM）与文本到图像模型（T2I）深度结合，通过和等特殊标签实现多轮交互。用户无需专业提示词技巧，用日常语言描述需求即可获得高度匹配的图像输出，系统还能主动解释创作逻辑并接受反馈调整。

Mini DALL·E 3 的主要功能

• 交互式图像生成：通过多轮对话逐步明确需求，生成符合描述的图像
• 实时图像编辑：支持局部修改指令（如「把背景换成雪山」）
• 内容连贯性保持：在多轮对话中自动维持角色特征和场景一致性
• 创作过程可视化：可查看LLM生成的中间描述文本，理解AI创作逻辑

Mini DALL·E 3 的技术原理

• LLM语义解析：使用ChatGPT等模型将用户指令转化为结构化图像描述
• 路由器架构：自动识别指令类型（生成/编辑/问答）并分配至对应模块
• 分层内容控制：采用SDXL基础模型配合IP-Adapter实现细节级修改
• 多模态对齐：通过特殊标记实现文本描述与图像区域的精准对应

如何运行 Mini DALL·E 3

1. 环境准备

下载模型检查点并保存至指定目录：

checkpoints
   - models
   - sdxl_models

2. 启动Web服务

设置OpenAI API密钥后运行：

export OPENAI_API_KEY="your key"
python -m minidalle3.web

3. 使用其他LLM

可按需切换为百川等国产模型：

python -m minidalle3.llm.baichuan
export OPENAI_API_BASE="http://0.0.0.0:10039/v1"
python -m minidalle3.web

当前已验证支持chatglm、baichuan、internlm等模型

资源

• 项目主页：https://minidalle3.github.io/
• GitHub 仓库：https://github.com/Zeqiang-Lai/Mini-DALLE3

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦