❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 功能：Edicho 支持多图像一致性编辑，适用于局部和全局编辑任务。
- 技术：基于扩散模型，结合显式图像对应关系和优化的去噪策略。
- 应用：广泛应用于电商、社交媒体、游戏开发及医学影像等领域。
正文（附运行示例）
Edicho 是什么
Edicho 是由香港科技大学、蚂蚁集团、斯坦福大学和香港中文大学联合推出的一种基于扩散模型的图像编辑方法。它能够在多图像之间实现一致性编辑，且无需额外训练即可应用。
Edicho 的核心技术在于利用显式图像对应关系来指导编辑过程。通过注意力操作模块（Corr-Attention）和分类器自由引导（CFG）去噪策略，Edicho 能够确保编辑结果在不同图像中保持高度一致性。
Edicho 的主要功能
- 一致性图像编辑：在多图像间实现一致性编辑，包括局部编辑（如图像修复）和全局编辑（如图像风格转换），确保编辑结果在各种场景下保持高度协调。
- 即插即用兼容性：作为推理时的算法，可与大多数基于扩散的编辑方法（如 ControlNet 和 BrushNet）无缝兼容，无需额外训练数据，直接应用于实际任务。
- 广泛任务适用性：适用于图像编辑，还能扩展应用于个性化内容创作、3D重建及一致性纹理应用等更多领域，扩展了编辑工具的适用范围。
Edicho 的技术原理
- 显式图像对应性引导：基于显式图像对应性引导编辑过程，避免传统隐式对应性方法的局限性。用预训练的对应性提取器（如 DIFT 和 Dust3R）从输入图像中提取稳健的对应性，然后将预计算的显式对应性注入到扩散模型的去噪过程中，确保编辑的一致性。
- 注意力操作模块（Corr-Attention）：增强注意力机制，基于图像之间的对应性引导特征传递。在自注意力模块中，根据显式对应性对查询特征进行变换，从源图像借用相关特征，形成新的查询矩阵，在去噪过程中实现编辑一致性。
- 优化的分类器自由引导（CFG）去噪策略（Corr-CFG）：结合预计算的对应性，在编辑过程中保持高质量和一致性。修改 CFG 的计算方式，在对应关系的引导下操控 CFG 框架中的无条件分支，融合无条件嵌入特征，进一步增强一致性效果，同时保留预训练模型强大的生成先验的完整性。
如何运行 Edicho
1. 安装依赖
首先，确保你已经安装了 Python 和必要的依赖库。可以通过以下命令安装：
pip install torch torchvision
pip install diffusers
2. 下载预训练模型
从 HuggingFace 下载预训练的扩散模型：
git clone https://github.com/EzioBy/edicho.git
cd edicho
3. 运行示例代码
以下是一个简单的示例代码，展示如何使用 Edicho 进行图像编辑：
import torch
from diffusers import StableDiffusionPipeline
# 加载预训练模型
pipe = StableDiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1")
pipe = pipe.to("cuda")
# 输入图像路径
image_paths = ["image1.jpg", "image2.jpg"]
# 进行一致性编辑
for image_path in image_paths:
edited_image = pipe(image_path, guidance_scale=7.5).images[0]
edited_image.save(f"edited_{image_path}")
资源
- 项目官网：https://ezioby.github.io/edicho
- GitHub 仓库：https://github.com/EzioBy/edicho
- arXiv 技术论文：https://arxiv.org/pdf/2412.21079
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
