社区供稿 | 一张照片跳舞的AnimateAnyone社区开发者复刻版,开源!

简介: 日前,兵马俑跳科目三、奶牛猫跳洗澡舞等趣味和魔性的短视频在社交媒体上出圈,背后“一张照片来跳舞”的技术来自阿里通义实验室在可控动画生成领域的一项研究工作——AnimateAnyone。

引言

日前,兵马俑跳科目三、奶牛猫跳洗澡舞等趣味和魔性的短视频在社交媒体上出圈,背后“一张照片来跳舞”的技术来自阿里通义实验室在可控动画生成领域的一项研究工作——AnimateAnyone。

AnimateAnyone是一种能够将角色图像转换为所需姿势序列控制的动画视频的方法,继承了diffusion模型的网络设计和预训练权重,并修改了UNet以适应多帧输入。为了解决保持外观一致性的挑战,引入了referenceNet,专门设计为UNet结构来捕获参考图像的空间细节。

pose sequence使用pose guide进行编码,并与多帧噪声融合,然后由去噪UNet进行去噪处理来生成视频,去噪的UNet模块中计算block由空间attention,cross-attention,以及时间attention组成,如右侧的虚线框。首先通过ReferenceNet提取细节特征并用于空间注意力,再通过CLIP图像编码器提取语义特征用于cross-attention,时间attention在时间维度上运作。最后通过VAE解码器解码为视频片段。

论文地址:

https://arxiv.org/pdf/2311.17117.pdf

社区复现和使用方式

社区开发者使用SVD复刻了AnimateAnyone,基于SVD的pipeline,同时使用simswap提高面部质量和时间一致性,并发布了V1版本的推理代码和模型,模型checkpoint可以在魔搭社区下载。

开源代码:

https://github.com/bendanzzc/AnimateAnyone-reproduction

开源模型:

https://modelscope.cn/models/lightnessly/animate-anyone-v1/summary

1.下载AnimateAnyone-reproduction代码

# 使用modelscope官方镜像环境
git clone https://github.com/bendanzzc/AnimateAnyone-reproduction.git

2.下载相关模型

2.1  下载SVD/svd_14模型

git clone https://www.modelscope.cn/AI-ModelScope/stable-video-diffusion-img2vid-xt.git

2.2  下载AnimateAnyone复现相关模型

git clone https://www.modelscope.cn/lightnessly/animate-anyone-v1.git

3.替换相关文件

下载AnimateAnyone复现相关模型和SVD/svd_14模型后,将stable-video-diffusion-img2vid-xt/unet下的文件删除,替换为animate-anyone-v1/unet路径下的文件

4.替换推理代码相关参数

4.1 替换SVD为本地下载的模型路径


4.2  将controlnet的路径替换为AnimateAnyone复现相关模型下controlnet文件的路径,通常为animate-anyone-v1/controlnet


5.其他参数



6.执行推理

运行AnimateAnyone-reproduction代码中的run_inference_release.py

测试效果演示:

显存要求:

如果想体验原版AnimateAnyone,可下载通义千问app,输入“全民舞王” ,产品端提供了更丰富的预设舞蹈模板、更长时长的生成效果。

魔搭社区积极鼓励开发者参照相关论文进行实践复现,并乐于分享他们的checkpoint文件与源代码,以更有力地推动人工智能技术的持续发展与进步。

投稿邮箱:

modelscopesubmit@list.alibaba-inc.com

相关文章
|
SQL JSON Java
【Elasticsearch专栏 10】深入探索:Elasticsearch如何进行数据导入和导出
在Elasticsearch中,数据导入常通过Bulk API、Logstash或Java客户端进行,支持JSON、CSV等格式。导出则可通过SQL查询、Scroll API或第三方工具如elasticdump实现,将数据以JSON、CSV等格式导出。这些方法确保了数据的高效、安全导入与导出。
2513 5
|
机器学习/深度学习 编解码 人工智能
Reading Notes: Human-Computer Interaction System: A Survey of Talking-Head Generation
由于人工智能的快速发展,虚拟人被广泛应用于各种行业,包括个人辅助、智能客户服务和在线教育。拟人化的数字人可以快速与人接触,并在人机交互中增强用户体验。因此,我们设计了人机交互系统框架,包括语音识别、文本到语音、对话系统和虚拟人生成。接下来,我们通过虚拟人深度生成框架对Talking-Head Generation视频生成模型进行了分类。同时,我们系统地回顾了过去五年来在有声头部视频生成方面的技术进步和趋势,强调了关键工作并总结了数据集。 对于有关于Talking-Head Generation的方法,这是一篇比较好的综述,我想着整理一下里面比较重要的部分,大概了解近几年对虚拟人工作的一些发展和
|
2月前
|
人工智能 JavaScript 安全
Claude Code对接阿里云百炼:Anthropic兼容API完整配置调试实战指南
随着AI辅助编程技术快速迭代,Claude Code凭借强大的文件读写、终端命令执行、多轮智能体循环能力,成为终端环境下热门的AI编程工具。但是原生版本默认调用海外官方模型接口,对于国内开发者而言,会面临网络访问不稳定、请求超时、调用成本高昂、数据合规风险等一系列现实阻碍。阿里云百炼大模型服务平台推出Anthropic协议兼容接口,无需修改Claude Code工具源代码,就可以将底层推理模型无缝替换为通义千问系列,实现国内网络环境稳定访问、调用成本可控、满足国内数据合规要求的AI编程工作流。本文将从接口接入底层原理、前期环境准备、两套配置实现方式、功能验证、性能成本优化、高频故障排查、企业级
771 0
|
4月前
|
机器学习/深度学习 缓存 人工智能
Kimi K3 登陆阿里云百炼:2.8万亿参数旗舰模型,输入仅20元/百万Token
全球首个开源3万亿级大模型Kimi K3(2.8万亿参数)正式上线阿里云百炼平台,支持100万Token超长上下文、原生视觉理解与深度推理。具备文本生成、多模态分析及复杂逻辑能力,输入20元/百万Token(缓存命中仅2元),定位高端AI开发场景。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
|
10月前
|
人工智能 搜索推荐 API
FlashLabs 正式发布 Chroma 1.0 - 全球首个开源、端到端、实时语音到语音 AI 模型 → 支持个性化语音克隆
FlashLabs 发布全球首个开源、端到端、实时语音到语音 AI 模型 Chroma 1.0,支持低延迟(TTFT \x26lt; 150ms)、高保真语音克隆与强对话能力,旨在成为 OpenAI Realtime API 的开源替代方案。
1043 3
|
API vr&ar 索引
1张照片 2秒钟 一键变身3D数字人
LHM是一种基于单视角图像的端到端Transformer模型,结合SMPL-X人体模型与高斯渲染技术,可从一张照片生成可驱动的3D数字人。它采用Vision Transformer和Mae模型提取特征,并通过Body-Head Transformer融合2D与3D信息,输出具有动作能力的高精度3D人体模型。应用于动作重现、游戏角色生成及虚拟现实等领域,代码已开源并提供在线体验入口。
2027 1
|
人工智能 Linux iOS开发
音乐人必看!OpenUtau:开源AI歌声合成神器,快速打造专业级虚拟歌手,中文日文无缝切换
OpenUtau是一款开源的歌声合成工具,兼容UTAU音源库和重采样器,支持多语言界面及预渲染功能,让音乐创作更加高效便捷。
5886 15
音乐人必看!OpenUtau:开源AI歌声合成神器,快速打造专业级虚拟歌手,中文日文无缝切换
|
8月前
|
关系型数据库 MySQL 数据库
MySQL 5.7 安装教程:详细步骤+自定义安装+命令行客户端配置(Windows版)
本文详解MySQL 5.7.27的下载、解压、安装、配置及命令行客户端快捷方式创建全流程,涵盖自定义安装、版本选择、root密码设置等关键步骤,适合开发者与学习者快速搭建本地数据库环境。(239字)
2447 0
|
10月前
|
人工智能 JSON 网络协议
AI 大模型 LLM API 架构:Gemini 3.0 Pro 原生多模态能力的边界与工程落地
随着 Model-as-a-Service (MaaS) 的普及,如何在受限网络环境下构建高可靠的 GenAI 应用成为工程挑战。本文将分析 Gemini 3.0 Pro 的 Native Multimodal 架构特性,并探讨基于 n1n.ai 聚合网关(Aggregation Gateway)的跨区域调用方案。
591 1
AI 大模型 LLM API 架构:Gemini 3.0 Pro 原生多模态能力的边界与工程落地
|
人工智能 JSON API
构建AI智能体:二十、妙笔生花:Gradio集成DashScope Qwen-Image模型实现文生图
本文介绍了一个基于Gradio和阿里云通义千问Qwen-Image模型的文生图应用。该应用通过简洁的Web界面实现文本生成图像功能,支持多种风格(3D卡通、动漫、油画等)和尺寸选择,并包含负面提示词功能。文章详细解析了代码结构,包括API调用封装、参数映射、错误处理等核心功能模块,同时提供了丰富的示例提示词和生成效果展示。该工具适合探索AI图像生成能力,通过调整提示词和参数可优化生成效果。
1511 3

热门文章

最新文章