❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
🎨 「动画师集体起立鼓掌！港科大开源神器让线稿着色快如闪电」
大家好，我是蚝油菜花。当同行还在逐帧手绘上色时，这个AI已经让线稿自动「穿上」赛博皮肤！
你是否也经历过这些至暗时刻——
- 👉 给漫画角色上色3小时，甲方突然要改主色调
- 👉 多人物场景着色时，色彩总是互相渗透污染
- 👉 想保持动画风格统一，但参考图色彩提取总偏差...
今天要解剖的 MagicColor ，正在重写数字着色规则！这个港科大黑科技：
- ✅ 多实例并行着色：单次处理复杂场景所有元素，速度提升8倍
- ✅ 像素级色彩控制：用DINOv2特征对齐技术，连发丝渐变都不失真
- ✅ 风格迁移大师：仅需1张参考图，就能复刻任何画风
已有动画工作室用它1天做完季度原画，插画师靠它生成百种配色方案——你的数位笔，是时候进化成「AI调色盘」了！
🚀 快速阅读
MagicColor是首个支持多实例并行着色的扩散模型框架。
- 功能：实现线稿到彩图的自动转换，支持基于参考图的风格迁移和实例级色彩控制。
- 技术：采用双UNet架构和自监督训练策略，结合边缘损失与ROI对齐技术保证着色精度。
MagicColor 是什么
MagicColor 是香港科技大学推出的多实例线稿图着色框架，支持高效地为线稿图添加色彩。基于自监督训练策略和实例引导模块，解决多实例数据不足的问题，实现精准的实例级色彩控制。
与传统方法相比，MagicColor 能在单次前向传播中完成多实例线稿图的着色，大幅提高着色效率。其独特的双UNet架构和边缘增强技术，使得生成结果在保持结构完整性的同时具有丰富的色彩层次。
MagicColor 的主要功能
- 多实例并行处理：同时为场景中所有元素着色，避免传统方法的逐实例操作
- 智能风格迁移：根据单张参考图自动提取色彩分布与艺术风格
- 像素级色彩控制：通过ROI对齐技术确保每个实例的色彩独立性和准确性
- 边缘增强着色：采用高频感知损失函数保留线稿细节结构
- 批量生成支持：单次处理多张线稿，适合动画序列帧着色
MagicColor 的技术原理
- 扩散模型基础：基于Latent Diffusion Model构建，利用其强大的生成能力保持语义一致性
- 两阶段训练策略：第一阶段用单实例数据预训练，第二阶段通过数据增强生成多实例训练集
- 实例特征对齐：采用DINOv2提取参考图特征，通过ROI Pooling实现实例级匹配
- 双UNet架构：参考图像处理UNet与生成UNet协同工作，分离色彩提取与合成过程
- 混合损失函数：结合边缘感知损失、色彩直方图匹配损失和感知损失优化生成质量
如何运行 MagicColor
环境配置
conda create -n MagicColor python=3.8
pip install -r requirements.txt
代码获取
git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor
自动标注工具安装
git clone https://github.com/IDEA-Research/Grounded-Segment-Anything.git
mv automatic_label.py Grounded-Segment-Anything/
cd Grounded-Segment-Anything
mkdir ckpt
模型训练
cd scripts
bash multi_ref_train.sh
推理演示
cd inference
python gradio_app.py
资源
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
