MEMO:通过音频和图像生成肖像说话视频,感知音频中的情感来细化面部表情

简介: MEMO是一种音频驱动的生成肖像说话视频框架,由Skywork AI、南洋理工大学和新加坡国立大学联合推出。该框架通过记忆引导的时间模块和情感感知音频模块,确保生成的视频在身份一致性和表现力方面达到高水平。MEMO支持多种图像风格和音频类型的说话视频生成,并能处理多语言输入。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:MEMO能够根据音频和参考图像生成具有身份一致性和表现力的说话视频。
  2. 技术:框架包括记忆引导的时间模块和情感感知音频模块,确保视频生成的质量和一致性。
  3. 应用:适用于虚拟助手、娱乐、教育、新闻和广告等多个领域。

正文(附运行示例)

MEMO 是什么

公众号: 蚝油菜花 - memo

MEMO(Memory-Guided EMOtionaware diffusion)是由Skywork AI、南洋理工大学和新加坡国立大学共同推出的音频驱动肖像动画框架。该框架旨在生成具有身份一致性和表现力的说话视频。MEMO围绕两个核心模块构建:记忆引导的时间模块和情感感知音频模块。记忆引导模块通过存储更长期的运动信息来增强身份一致性和运动平滑性,而情感感知模块则通过多模态注意力机制提升音频与视频的交互,根据音频中的情感来细化面部表情。

MEMO在多种图像和音频类型的说话视频中,展现出比现有最先进方法更优秀的整体质量、音频-唇形同步、身份一致性和表情-情感对齐。

MEMO 的主要功能

  • 音频驱动的肖像动画:根据输入的音频和参考图像生成同步的、具有身份一致性的说话视频。
  • 多样化内容生成:支持多种图像风格(如肖像、雕塑、数字艺术)和音频类型(如演讲、唱歌、说唱)的说话视频生成。
  • 多语言支持:能处理包括英语、普通话、西班牙语、日语、韩语和粤语在内的多种语言的音频输入。
  • 表情丰富的视频生成:根据音频的情感内容生成具有相应表情的说话视频。
  • 长视频生成能力:能生成长时间、少误差累积的说话视频。

MEMO 的技术原理

  • 记忆引导的时间模块:
    • 记忆状态:开发记忆状态存储来自更长过去上下文的信息,指导时间建模。
    • 线性注意力:基于线性注意力机制使用长期运动信息,提高面部运动的连贯性,减少误差累积。
  • 情感感知音频模块:
    • 多模态注意力:同时处理视频和音频输入,增强两者之间的交互。
    • 音频情感检测:动态检测音频中的情感线索,将情感信息整合到视频生成过程中,细化面部表情。
  • 端到端框架:
    • 参考网络(Reference Net):提供身份信息,用于空间和时间建模。
    • 扩散网络(Diffusion Net):核心创新所在,包含记忆引导的时间模块和情感感知音频模块。
    • 数据处理流程:包括场景转换检测、人脸检测、图像质量评估、音频-唇形同步检测等步骤,确保数据质量。
    • 训练策略:分为两个阶段:面部领域适应和情感解耦的鲁棒训练,使用修正流量损失进行训练。

如何运行 MEMO

安装

conda create -n memo python=3.10 -y
conda activate memo
conda install -c conda-forge ffmpeg -y
pip install -e .

推理

python inference.py --config configs/inference.yaml --input_image <IMAGE_PATH> --input_audio <AUDIO_PATH> --output_dir <SAVE_PATH>

例如:

python inference.py --config configs/inference.yaml --input_image assets/examples/dicaprio.jpg --input_audio assets/examples/speech.wav --output_dir outputs

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
4月前
|
人工智能 缓存 安全
DeepSeek V4 API零基础接入指南:注册鉴权、代码调用与排错手册
AI应用开发中,模型API接入是项目落地的第一道门槛,大量新手开发者会卡在账号注册、密钥生成、鉴权报错、参数配置等环节,反复调试浪费大量开发时间。本文以DeepSeek V4系列模型为核心,完整覆盖账号注册认证、API密钥创建与安全管理、多语言调用代码、核心参数释义、计费成本计算、性能调优、高频报错解决方案,全程采用零基础友好的分步讲解,无需深厚后端基础,普通开发者30分钟内即可完成首次模型调用,同时汇总开发中高频踩坑点,形成完整故障急救方案。
2124 2
|
人工智能 资源调度 数据可视化
ModelScope魔搭25年7月发布月报
七月流火,这个夏天火热的开场已然揭开。6月30号,我们在北京举办了首届魔搭开发者大会(ModelScope DevCon 2025),邀请了国内外知名的开源模型,以及头部开源工具的研发团队,与广大开发者共聚一堂进行分享。顶尖的AI 模型首次从线上 Hub走进线下盛会,为大家呈现了一场“模型全明星”盛会。同时我们还邀请了社区开发者参加我们的“搭友之夜”(aka 大规模面基大会)。大会分享场场爆满,现场只能用一句话来描述:“好~多~人~啊”,不提前占位根本挤不进去~~
780 3
|
10月前
|
人工智能 自然语言处理 算法
最近比较火的GEO适合哪些行业的推广?
GEO(生成式引擎优化)正重塑营销格局,通过优化内容结构与语义逻辑,抢占AI问答场景的引用权。据IDC与中国信通院数据,2025年全球市场规模超120亿美元,中国占55.4%。其在本地生活、跨境电商、文旅、房地产、教育、B2B制造及金融医疗等行业广泛应用,助力企业实现精准获客、提升转化率并构建长期数字资产,成为AI时代营销新基建。
|
存储 人工智能 自然语言处理
轻松改造公众号:10分钟实现智能客服自动化!
在阿里云平台上,仅需10分钟即可将微信公众号(订阅号)升级为AI智能客服,提供7x24小时客户支持,显著提升用户体验。方案包括四步:创建大模型问答应用、搭建微信公众号连接流、引入AI智能客服以及增加私有知识库,确保客服能精准回答复杂咨询,助力业务竞争力提升。整个过程简单快捷,在免费试用额度内费用为零。
1405 7
轻松改造公众号:10分钟实现智能客服自动化!
|
存储 供应链 安全
探索区块链技术的未来——去中心化应用的崛起
探索区块链技术的未来——去中心化应用的崛起
668 13
|
人工智能 自然语言处理 搜索推荐
AI之HCI:人机交互Human-Computer Interaction的简介、发展历史、案例应用之详细攻略(一)
AI之HCI:人机交互Human-Computer Interaction的简介、发展历史、案例应用之详细攻略(二)
AI之HCI:人机交互Human-Computer Interaction的简介、发展历史、案例应用之详细攻略(一)
|
Web App开发 Linux API
模拟微信内置浏览器,微信UA生成器,支持指纹代理IP
该实现包含完整的微信浏览器模拟功能,支持UA生成、指纹伪装和代理IP管理。使用时需要安装sele
UE4动画蓝图节点Layered blend per bone详解
UE4动画蓝图节点Layered blend per bone详解
1207 1
|
Swift iOS开发 开发者
IOS开发基础知识:什么是 ARC(自动引用计数)?如何工作?
IOS开发基础知识:什么是 ARC(自动引用计数)?如何工作?
542 1
|
安全 网络安全 数据安全/隐私保护
内网IP地址实现HTTPS加密访问教程
在内网环境中,为确保数据传输的安全性,绑定SSL证书搭建HTTPS服务器至关重要。本文介绍了内网IP地址的前期准备、申请SSL证书的步骤以及客户端配置方法。具体包括选择合适的CA、注册账号、提交申请、下载证书,并在客户端导入根证书,确保通信数据的安全加密。推荐使用JoySSL提供的技术解决方案,确保内网设备通信安全。
内网IP地址实现HTTPS加密访问教程

热门文章

最新文章