❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
🎨 「设计师福音！多校联合AI绘画神器：对话式修图+智能问答，草图秒变商业大作」
大家好，我是蚝油菜花。当别人还在为AI绘画的提示词绞尽脑汁时，这个国产框架已经让图像生成进入了「聊天式创作」时代！
你是否经历过这些创作噩梦：
- 🖌️ 改了18版提示词，AI还是把「赛博朋克」画成「乡村杀马特」
- 🖼️ 想微调构图某个细节，却要重新生成整张图
- 💬 问AI「为什么把老虎画成橘猫」，它回你「根据描述生成」...
今天要解剖的 Mini DALL·E 3 ，正在重定义人机协作创作！这个由北理工领衔的交互式神器，用四大黑科技炸穿创作壁垒：
- ✅ 对话式精修：像指导人类画师一样，用自然语言逐步调整细节
- ✅ 智能问答：能解释「为什么天空是紫色」，并根据反馈立即重绘
- ✅ 多模型协同：LLM+SDXL+IP-Adapter三脑联动，理解力堪比美术总监
- ✅ 零训练部署：直接对接现有模型，企业级应用1小时上线
已有设计团队用它3轮对话完成商业海报，插画师靠它实时修正AI作品——你的创作流程，是时候进化到「动口不动手」阶段了！
🚀 快速阅读
Mini DALL·E 3是首个实现多轮交互式文生图的开源框架。
- 功能：支持通过对话生成、编辑图像，并保持多轮创作的内容一致性
- 技术：结合LLM的语义理解与T2I模型的生成能力，通过路由器架构协调工作流程
Mini DALL·E 3 是什么
Mini DALL·E 3 是由北京理工大学、上海AI Lab、清华大学和香港中文大学联合研发的交互式文本到图像（iT2I）框架。该系统突破传统文生图工具的单次生成模式，允许用户通过自然语言对话逐步优化图像内容。
其核心创新在于将大型语言模型（LLM）与文本到图像模型（T2I）深度结合，通过和等特殊标签实现多轮交互。用户无需专业提示词技巧，用日常语言描述需求即可获得高度匹配的图像输出，系统还能主动解释创作逻辑并接受反馈调整。
Mini DALL·E 3 的主要功能
- 交互式图像生成：通过多轮对话逐步明确需求，生成符合描述的图像
- 实时图像编辑：支持局部修改指令（如「把背景换成雪山」）
- 内容连贯性保持：在多轮对话中自动维持角色特征和场景一致性
- 创作过程可视化：可查看LLM生成的中间描述文本，理解AI创作逻辑
Mini DALL·E 3 的技术原理
- LLM语义解析：使用ChatGPT等模型将用户指令转化为结构化图像描述
- 路由器架构：自动识别指令类型（生成/编辑/问答）并分配至对应模块
- 分层内容控制：采用SDXL基础模型配合IP-Adapter实现细节级修改
- 多模态对齐：通过特殊标记实现文本描述与图像区域的精准对应
如何运行 Mini DALL·E 3
1. 环境准备
下载模型检查点并保存至指定目录：
checkpoints
- models
- sdxl_models
2. 启动Web服务
设置OpenAI API密钥后运行：
export OPENAI_API_KEY="your key"
python -m minidalle3.web
3. 使用其他LLM
可按需切换为百川等国产模型：
python -m minidalle3.llm.baichuan
export OPENAI_API_BASE="http://0.0.0.0:10039/v1"
python -m minidalle3.web
当前已验证支持chatglm、baichuan、internlm等模型
资源
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
