一 引言

AnyDoor是一种基于扩散模型的图像生成模型，以非常和谐的方式将目标对象传送到用户制定位置的新场景的能力。过程中不需要为每个对象调整参数，只需要训练一次，并在推理阶段适用于各种不同的对象-场景组合。

AnyDoor这样的具有挑战型的zero shot的图像生成方法需要针对特定的目标对象进行特征化，我们用细节特征补充过去常用的ID特征，细节特征保持了目标的纹理细节，并允许适配场景的通用的局部的变化（例如，光线、方向、姿势等），支持对象和不同的周围环境场景的适配。同时，我们进一步的从视频数据中获取知识，通过视频数据观察单个目标对象的沿着时间轴各种形式，来保障了AnyDoor模型的鲁棒性和概括性。

AnyDoor的整体Pipeline如下图所示，首先采用分割模块从目标图像中去掉背景，然后使用ID提取器获取对象的身份信息，然后通过高通滤波器处理无背景的目标图像，形成hf-map并和所需位置的场景信息拼接在一起。然后采用细节提取器获取目标图像的纹理细节，作为ID提取器的补充。最后讲ID token和detail map注入到通过视频等信息训练好的预训练模型，从而生成最终的合成图片，其中目标对象与其周围环境场景顺利融合，同时目标对象配合场景有适当的局部变化，其中火焰和雪花分别指可学习参数和冻结参数。

该技术上线后，短时间内成为github global trending榜No.1，期待AnyDoor这样的AI技术，成为大家的哆啦A梦，完成童年梦想！

二、模型体验

魔搭创空间地址：https://modelscope.cn/studios/damo/AnyDoor-online

mask后的桌面（场景）和小鸭子（目标）

mask后的女子（场景）和衣服（目标）

三、环境准备

环境配置与安装

1. python 3.8及以上版本
   
2. pytorch 1.12及以上版本，推荐2.0及以上版本
   
3. 建议使用CUDA 11.4及以上
   

本文主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行（显存24G） ：

第一步：点击模型右侧Notebook快速开发按钮，选择GPU环境

第二步：新建Notebook

第三步：环境依赖最新的modelscope的library

!git clone https://github.com/modelscope/modelscope.git
%cd modelscope
!pip install .

四、模型推理

模型推理代码：

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
ref_image = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_anydoor_fg.png'
ref_mask = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_anydoor_fg_mask.png'
bg_image = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_anydoor_bg.png'
bg_mask = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_anydoor_bg_mask.png'
anydoor_pipline = pipeline(
    Tasks.image_to_image_generation, model='damo/AnyDoor_models')
out = anydoor_pipline((ref_image, ref_mask, bg_image, bg_mask))
image = out['output_img']
image.save('output/image_anydoor_gen.png')

快来体验任意门（AnyDoor）吧！

点击链接：modelscope.cn/studios/damo/AnyDoor-online/