❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新应用和热点信息，提供开源实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 功能：LatentSync 是一款端到端唇形同步框架，能够根据音频生成高分辨率、动态逼真的唇同步视频。
2. 技术：基于音频条件的潜在扩散模型，结合 TREPA 方法增强时间一致性，确保视频流畅自然。
3. 应用：广泛应用于影视后期制作、教育、广告视频制作、远程会议及游戏开发等领域。

正文（附运行示例）

LatentSync 是什么

LatentSync 是由字节跳动与北京交通大学联合推出的端到端唇形同步框架，基于音频条件的潜在扩散模型，无需任何中间的 3D 表示或 2D 特征点。LatentSync 利用 Stable Diffusion 的强大生成能力，捕捉复杂的视听关联，生成动态逼真的说话视频。

为解决扩散模型在不同帧间扩散过程不一致导致的时间一致性问题，LatentSync 推出了 Temporal REPresentation Alignment (TREPA) 方法，通过大规模自监督视频模型提取时间表示，增强生成帧与真实帧的时间一致性，同时保持唇同步的准确性。

LatentSync 的主要功能

• 唇形同步生成：根据输入的音频，生成与之匹配的唇部运动，适用于配音、虚拟头像等场景。
• 高分辨率视频生成：生成高分辨率的视频，克服传统扩散模型在像素空间进行扩散时对硬件要求高的限制。
• 动态逼真效果：生成的视频具有动态逼真的效果，能捕捉到与情感语调相关的细微表情，让人物的说话更加自然生动。
• 时间一致性增强：基于 TREPA 方法，提高生成视频的时间一致性，减少视频闪烁现象，让视频播放更加流畅。

LatentSync 的技术原理

• 音频条件潜在扩散模型：以音频为条件，用潜在扩散模型直接在潜在空间进行建模，无需经过像素空间扩散或两阶段生成过程。
• 端到端框架：将音频特征提取、潜在表示生成、唇同步生成等过程集成在一个统一的模型中，简化中间步骤，提高生成效率和准确性。
• Temporal REPresentation Alignment (TREPA)：通过大规模自监督视频模型 VideoMAE-v2 提取时间表示，计算生成连续帧和真实连续帧的时间表示之间的距离作为额外损失，增强生成视频的时间一致性。
• SyncNet 监督：在训练过程中，用预训练的 SyncNet 对生成的视频进行监督，确保生成的视频具有良好的唇同步效果。

如何运行 LatentSync

1. 环境配置

首先，安装所需的依赖包并下载模型检查点：

source setup_env.sh

2. 推理

运行推理脚本，生成唇同步视频：

./inference.sh

3. 数据处理

执行数据处理脚本，准备训练数据：

./data_processing_pipeline.sh

4. 训练 U-Net

在数据准备完成后，训练 U-Net 模型：

./train_unet.sh

5. 训练 SyncNet

如果需要训练 SyncNet，可以运行以下脚本：

./train_syncnet.sh

资源

• GitHub 仓库：https://github.com/bytedance/LatentSync
• arXiv 技术论文：https://arxiv.org/pdf/2412.09262

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新应用和热点信息，提供开源实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦