❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 模型介绍：ColorFlow是清华大学和腾讯ARC实验室共同推出的图像序列着色模型，适用于漫画、动画制作等工业应用。
- 主要功能：包括检索增强管道、上下文着色管道和引导超分辨率管道，确保图像序列的着色与参考图像颜色一致。
- 技术原理：基于检索增强、上下文着色和超分辨率增强等技术，提升图像序列着色的质量和一致性。
正文（附运行示例）
ColorFlow 是什么
ColorFlow是清华大学和腾讯ARC实验室共同推出的图像序列着色模型，能够精细化地保持图像序列中个体身份的同时进行着色。该模型基于检索增强、上下文学习和超分辨率技术，确保黑白图像序列的着色与参考图像颜色一致，适用于漫画、动画制作等工业应用。
ColorFlow在图像序列着色领域展现了超越现有技术的卓越性能，通过提升CLIP-IS、降低FID、增加PSNR和SSIM得分及提高AS，为艺术行业提供了新的着色标准。
ColorFlow 的主要功能
- 检索增强管道（Retrieval-Augmented Pipeline, RAP）：从参考图像池中提取与输入黑白图像最相关的彩色图像块，指导着色过程。
- 上下文着色管道（In-context Colorization Pipeline, ICP）：基于强大的上下文学习来准确检索颜色身份，采用双分支设计进行着色。
- 引导超分辨率管道（Guided Super-Resolution Pipeline, GSRP）：上采样低分辨率的着色输出，产生高分辨率的彩色图像，增强细节恢复并提高输出质量。
ColorFlow 的技术原理
- 检索增强（Retrieval-Augmented）：基于预训练的CLIP图像编码器生成输入图像和参考图像的嵌入，计算余弦相似度识别最相似的参考图像块，用于后续的着色训练。
- 上下文着色（In-context Colorization）：引入辅助分支“Colorization Guider”整合条件信息，基于U-Net扩散模型逐步整合特征，实现像素级的条件嵌入。使用轻量级LoRA方法对预训练的扩散模型进行微调，保留其着色能力。
- 超分辨率增强（Super-Resolution）：处理着色过程中的下采样问题，减少结构失真。将高分辨率黑白图像与低分辨率彩色输出结合，增强细节恢复，提升输出质量。
- 自我注意力机制（Self-Attention）：在扩散模型中使用自我注意力机制，将参考图像和灰度图像放在同一个画布上，提取特征，逐层输入到扩散模型中进行着色。
- 时间步采样策略（Timestep Shifted Sampling）：调整采样策略，强调在更高时间步长上的采样，增强着色过程的效果。
- 屏幕风格增强（Screenstyle Augmentation）：对灰度图像和ScreenVAE输出进行随机线性插值，增强输入图像的风格适应性，提升着色性能。
如何运行 ColorFlow
克隆仓库：
git clone https://github.com/TencentARC/ColorFlow cd ColorFlow设置Python环境：
conda create -n colorflow python=3.8.5 conda activate colorflow pip install -r requirements.txt运行应用：
python app.py在浏览器中访问：
打开浏览器并访问http://localhost:7860。如果是在远程服务器上运行，请将localhost替换为服务器的IP地址或域名。
资源
- 项目官网：https://zhuang2002.github.io/ColorFlow
- GitHub 仓库：https://github.com/TencentARC/ColorFlow
- HuggingFace 模型库：https://huggingface.co/TencentARC/ColorFlow
- arXiv 技术论文：https://arxiv.org/pdf/2412.11815
- 在线体验Demo：https://huggingface.co/spaces/TencentARC/ColorFlow
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
