❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

原文链接：https://mp.weixin.qq.com/s/QBgUYcVNF6WBwwTE1FmDNA

🚀 快速阅读

1. 功能：EDTalk 能够根据音频驱动图片中的人物说话，并支持自定义情感表达。
2. 技术：通过高效解耦框架，EDTalk 将面部动态分解为嘴型、头部姿态和情感表情三个独立潜在空间。
3. 应用：EDTalk 可应用于个人数字助理、影视后期制作、教育软件等多个领域。

正文（附运行示例）

EDTalk 是什么

EDTalk 是上海交通大学与网易联合研发的音频驱动唇部同步模型，能够实现对嘴型、头部姿态和情感表情的独立操控。只需上传一张图片、一段音频和参考视频，EDTalk 就能驱动图片中的人物说话，并支持自定义情感，如高兴、愤怒、悲伤等。

EDTalk 通过三个轻量级模块将面部动态分解为嘴型、头部姿态和情感表情三个独立潜在空间，每个空间由一组可学习的基向量表征，其线性组合定义了特定的动作。这种高效的解耦训练机制提升了训练效率，降低了资源消耗，即使是初学者也能快速上手并探索创新应用。

EDTalk 的主要功能

• 音频驱动唇部同步：EDTalk 能根据上传的图片和音频，驱动图片中的人物说话，实现唇形同步。
• 自定义情感表达：EDTalk 支持自定义情感，如高兴、愤怒、悲伤等，合成视频中的人物表情与音频情绪高度统一。
• Audio-to-Motion 模块：EDTalk 的 Audio-to-Motion 模块能根据音频输入，自动生成与音频节奏同步的嘴唇运动和符合语境的表情。
• 支持视频和音频输入：EDTalk 能在视频和音频输入下实现精确的情感说话头像生成。

EDTalk 的技术原理

• 高效解耦框架：EDTalk 通过三个轻量级模块将面部动态分解为三个不同的潜在空间，分别代表嘴型、头部姿态和情感表情。这种解耦合技术允许对这些面部动作进行独立控制，不相互干扰。
• 可学习的基向量表征：每个潜在空间都由一组可学习的基向量来表征，这些基向量的线性组合定义了特定的动作。这种设计使得 EDTalk 能够灵活地合成具有特定嘴型、头部姿态和表情的讲话人头像视频。
• 正交性和高效训练策略：为了确保独立性并加速训练，EDTalk 在基向量之间强制正交，设计了一种高效的训练策略，将动作责任分配给每个空间，不依赖于外部知识。

如何运行 EDTalk

安装依赖

git clone https://github.com/tanshuai0219/EDTalk.git
cd EDTalk
conda create -n EDTalk python=3.8
conda activate EDTalk
pip install -r requirements.txt

运行示例

python demo_EDTalk_A_using_predefined_exp_weights.py --source_path res/results_by_facesr/demo_EDTalk_A.png --audio_driving_path test_data/mouth_source.wav --pose_driving_path test_data/pose_source1.mp4 --exp_type angry --save_path res/demo_EDTalk_A_using_weights.mp4

资源

• 项目官网：https://tanshuai0219.github.io/EDTalk/
• GitHub 仓库：https://github.com/tanshuai0219/EDTalk
• arXiv 技术论文：https://arxiv.org/pdf/2404.01647

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦