❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 功能：基于参考图像的线稿着色，支持精准颜色匹配和复杂场景处理。
- 技术：采用 Reference U-Net 和 Denoising U-Net 架构，结合补丁重排模块和点驱动控制方案。
- 应用：适用于漫画创作、插画设计、平面设计和数字艺术创作。
正文（附运行示例）
MangaNinja 是什么
MangaNinja 是一款基于参考图像的线稿着色工具，旨在通过创新的补丁重排模块和点驱动控制方案，提升上色的准确性与图像质量。它能够应对多样化的上色挑战，包括极端姿势和多参考图像的协调，实现高质量的互动上色体验。
MangaNinja 的核心在于其能够自动对齐参考图像与线稿，并通过点驱动控制方案实现细粒度的颜色匹配。无论是漫画创作还是数字艺术设计，MangaNinja 都能显著加速上色过程，提升创作效率。
MangaNinja 的主要功能
- 基于参考的线条艺术上色：通过参考图像为线稿提供上色指导，实现精确的颜色匹配。
- 精确的角色细节转录：补丁重排模块促进参考彩色图像和目标线稿之间的对应学习，增强模型的自动匹配能力。
- 细粒度的交互控制：点驱动控制方案使得用户可以对颜色进行精细匹配，尤其在处理复杂场景时表现出色。
- 处理复杂场景：能有效解决角色姿势变化大或细节缺失等问题，当涉及多个对象时，点引导能有效防止颜色混淆。
- 多参考图像的和谐上色：用户可以通过选择多个参考图像的特定区域来进行多参考图像的上色，为线稿的各个元素提供指导，有效解决相似视觉元素之间的冲突。
MangaNinja 的技术原理
- Reference U-Net：使用 VAE 将参考图像编码为 4 通道潜在表示，提取多级特征以与主要的 Denoising U-Net 融合。
- Denoising U-Net：负责将编码后的参考图像特征与线稿进行融合，逐步去除噪声，生成最终的上色图像。
- 补丁重排模块：通过将参考图像分割成多个小块，在这些小块之间进行重排，增强模型的自动匹配能力。
- 点驱动控制方案：用户可以通过在参考图像和线稿上预定义特定点，来指导上色过程，实现细粒度的颜色匹配。
- 训练策略：采用条件丢弃和渐进式斑块混洗策略，迫使模型学习更鲁棒的匹配能力。
如何运行 MangaNinja
1. 克隆仓库
首先，克隆 MangaNinja 的 GitHub 仓库：
git clone https://github.com/ali-vilab/MangaNinjia.git
cd MangaNinjia
2. 安装依赖
使用 conda 安装依赖：
conda env create -f environment.yaml
conda activate MangaNinjia
3. 下载模型权重
从 HuggingFace 下载所需的模型权重：
- StableDiffusion：https://modelscope.cn/models/AI-ModelScope/stable-diffusion-v1-5
- clip-vit-large-patch14：https://huggingface.co/openai/clip-vit-large-patch14
- control_v11p_sd15_lineart：https://huggingface.co/lllyasviel/control_v11p_sd15_lineart
- Annotators：https://huggingface.co/lllyasviel/Annotators/blob/main/sk_model.pth
- MangaNinjia 模型：https://huggingface.co/Johanan0528/MangaNinjia
4. 运行推理
进入 scripts 目录并运行推理脚本：
cd scripts
bash infer.sh
推理结果将保存在 output/ 目录中。
5. 使用 Gradio 界面
修改 ./configs/inference.yaml 文件以设置模型权重路径，然后运行 Gradio 脚本：
python run_gradio.py
Gradio 界面将提供一个直观的上色工具，用户可以通过上传参考图像和目标图像，定义匹配点并生成上色结果。
资源
- GitHub 仓库：https://github.com/ali-vilab/MangaNinjia
- HuggingFace 仓库：https://huggingface.co/Johanan0528/MangaNinjia
- arXiv 技术论文：https://arxiv.org/pdf/2501.08332
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
