❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦
🚀 快速阅读
- 智能适配:根据模特的性别和体型自动调整衣物的尺寸和形状,生成贴合的试穿效果。
- 多种试穿模式:支持半身和全身试穿,用户可根据需求选择专注上身或下身的搭配效果,或预览完整的造型。
- 自定义体验:用户上传模特图片和服装图片,根据个人喜好指定上半身、下半身或全身换装。
正文(附运行示例)
OOTDiffusion 是什么
OOTDiffusion是一款开源的AI虚拟试衣工具,能够智能适配不同性别和体型,自动调整衣物尺寸和形状,生成自然贴合的试穿效果。该工具支持半身和全身试穿模式,用户可以上传自己的模特和服装图片,实现高度自定义的试穿体验。
OOTDiffusion的操作流程简单,易于上手,适合服装电商、时尚行业从业者及AI试穿技术爱好者使用。
OOTDiffusion 的主要功能
- 智能适配:根据模特的性别和体型自动调整衣物的尺寸和形状,生成贴合的试穿效果。
- 多种试穿模式:支持半身和全身试穿,用户可根据需求选择专注上身或下身的搭配效果,或预览完整的造型。
- 自定义体验:用户上传模特图片和服装图片,根据个人喜好指定上半身、下半身或全身换装。
- 快速生成:操作简单,上传图片后即可快速生成试穿效果,用户体验友好,适合非技术人员使用。
OOTDiffusion 的技术原理
- 预训练的潜在扩散模型:基于预训练的潜在扩散模型(latent diffusion models),生成高质量的服装图像。
- Outfitting UNet:设计outfitting UNet学习服装在潜在空间中的细节特征,实现单步学习服装特征。
- Outfitting Fusion:提出outfitting fusion过程,在去噪UNet的自注意力层中精确对齐服装特征与目标人体,无需独立的变形过程。
- Outfitting Dropout:在训练过程中引入outfitting dropout,随机丢弃一些服装潜在表示,实现无分类器的指导,增强服装特征的控制力。
- 跨注意力机制:用CLIP文本反转(textual-inversion)和图像编码器,将服装图像的特征与文本描述相结合,作为辅助条件输入,基于跨注意力机制整合到生成过程中。
如何运行 OOTDiffusion
安装
克隆仓库
git clone https://github.com/levihsu/OOTDiffusion
创建conda环境并安装所需包
conda create -n ootd python==3.10 conda activate ootd pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pip install -r requirements.txt
推理
半身模型
cd OOTDiffusion/run python run_ootd.py --model_path <model-image-path> --cloth_path <cloth-image-path> --scale 2.0 --sample 4
全身模型
cd OOTDiffusion/run python run_ootd.py --model_path <model-image-path> --cloth_path <cloth-image-path> --model_type dc --category 2 --scale 2.0 --sample 4
资源
- 项目官网:https://huggingface.co/spaces/levihsu/OOTDiffusion
- GitHub 仓库:https://github.com/levihsu/OOTDiffusion
- arXiv 技术论文:https://arxiv.org/pdf/2403.01779
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦