❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 功能：InvSR 通过扩散模型的逆过程恢复高分辨率图像，提升图像分辨率。
- 技术：基于扩散模型框架，利用深度噪声预测器和灵活的采样机制，支持任意数量的采样步骤。
- 应用：适用于老旧照片修复、视频监控、医疗成像等多个领域，提升图像清晰度。
正文（附运行示例）
InvSR 是什么
InvSR 是一个创新的图像超分辨率模型，基于扩散模型的逆过程恢复高分辨率图像。它利用大型预训练扩散模型中的丰富图像先验知识，通过深度噪声预测器来估计正向扩散过程中所需的最优噪声图。这种方法不仅能够充分利用扩散模型的先验知识，还提供了灵活高效的采样机制，用户可以根据图像退化的类型或特定需求自由调整采样步骤。
InvSR 的核心在于其深度噪声预测器，该预测器能够估计出在正向扩散过程中所需的最优噪声图。通过这种方式，InvSR 能够在减少采样步骤的情况下，依然保持或超越现有方法的性能，实现计算效率的提升。
InvSR 的主要功能
- 图像超分辨率提升：主要功能是提高图像的分辨率，从低分辨率图像恢复出高分辨率图像。
- 灵活的采样机制：支持从一到五个任意数量的采样步骤，用户可以根据图像退化类型或特定需求调整采样步骤。
- 噪声预测：深度噪声预测器估计最优噪声图，用于初始化扩散模型的采样过程。
- 扩散模型利用：充分利用预训练的扩散模型中的图像先验知识，提高超分辨率的性能。
- 高效计算：即使在减少采样步骤的情况下，也能保持或超越现有方法的性能，实现计算效率的提升。
InvSR 的技术原理
- 扩散模型框架：基于扩散模型（如 DDPM），逐步添加噪声将高分辨率图像转化为低分辨率图像的随机噪声图。
- 部分噪声预测策略：构建扩散模型的中间状态作为起始采样点，简化从低分辨率到高分辨率的反转过程。
- 深度噪声预测器：核心组件之一，用于估计正向扩散过程中的最优噪声图，从而在扩散轨迹上部分初始化采样过程。
- 逆向扩散过程：从噪声图开始，通过逆向扩散过程逐步去除噪声，恢复出高分辨率图像。
- 灵活的采样步骤：选择不同的起始采样点，并结合现有的采样算法，实现不同数量的采样步骤，适应不同的图像退化情况。
- 训练与优化：通过最小化预测高分辨率图像与真实高分辨率图像之间的差异来训练噪声预测器，使用 L2 损失、LPIPS 损失和 GAN 损失进行训练，优化性能。
如何运行 InvSR
快速测试
python inference_invsr.py -i [image folder/image path] -o [result folder] --num_steps 1
- 处理大图像：例如从 1k 分辨率提升到 4k，建议添加选项
--chopping_size 256。 - 其他选项：
- 指定预下载的 SD Turbo 模型：
--sd_path。 - 指定预下载的噪声预测器：
--started_ckpt_path。 - 采样步骤数量：
--num_steps。 - 如果 GPU 内存有限，请添加选项
--chopping_bs 1。
- 指定预下载的 SD Turbo 模型：
在线 Demo
你可以通过以下命令尝试在线 Demo：
python app.py
资源
- GitHub 仓库：https://github.com/zsyOAOA/InvSR
- arXiv 技术论文：https://arxiv.org/pdf/2412.09013
- 在线体验 Demo：https://huggingface.co/spaces/OAOA/InvSR
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
