HunyuanVideo：腾讯推出的开源视频生成模型，参数高达130亿

2024-12-04 1146

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 腾讯推出的开源视频生成模型HunyuanVideo，拥有130亿参数，是目前参数量最大的开源视频模型之一。该模型具备物理模拟、高文本语义还原度、动作一致性和电影级画质等特性，能生成带有背景音乐的视频，推动了视频生成技术的发展和应用。

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

模型规模：HunyuanVideo拥有130亿参数，是目前参数量最大的开源视频模型之一。
功能特性：模型具备物理模拟、高文本语义还原度、动作一致性和电影级画质等特性。
应用场景：广泛应用于电影和视频制作、音乐视频制作、游戏开发、广告与营销、教育与培训等领域。

正文

HunyuanVideo 是什么

公众号: 蚝油菜花 - HunyuanVideo/

HunyuanVideo是腾讯开源的视频生成模型，拥有130亿参数，是目前参数量最大的开源视频模型之一。该模型具备物理模拟、高文本语义还原度、动作一致性和电影级画质等特性，能生成带有背景音乐的视频。模型基于时空压缩的潜在空间训练，结合Causal 3D VAE技术和Transformer架构，实现图像和视频的统一生成。HunyuanVideo的开源推动了视频生成技术的发展和应用。

HunyuanVideo 的主要功能

视频生成：根据文本提示生成视频内容。
物理模拟：模拟现实世界的物理规律，生成符合物理特性的视频。
文本语义还原：准确理解并还原文本提示中的语义信息。
动作一致性：生成的视频动作流畅且一致，保持运动的连贯性。
色彩和对比度：生成的视频具有高色彩分明和对比度，提供电影级的画质体验。
背景音乐生成：为视频自动生成同步的声音效果和背景音乐。

HunyuanVideo 的技术原理

时空压缩的潜在空间：在时空压缩的潜在空间上进行训练，基于Causal 3D VAE技术将视频数据压缩成潜在表示，用解码器重构回原始数据。
Causal 3D VAE：特殊的变分自编码器，能学习数据的分布并理解数据之间的因果关系。基于编码器将输入数据压缩成一个潜在表示，用解码器将这个潜在表示重构回原始数据。
Transformer架构：引入Transformer架构，用Full Attention机制统一图像和视频生成。
双流到单流混合模型设计：视频和文本数据被分别送入不同的Transformer块进行处理（双流阶段），合并形成多模态输入，一起输入到后续的Transformer块中（单流阶段）。
MLLM文本编码器：用具有解码器结构的预训练多模态大型语言模型（MLLM）作为文本编码器，实现更好的图像-文本对齐和图像细节描述。
提示重写：为适应模型首选的提示，对用户提供的提示进行语言风格和长度的调整，增强视频生成模型对用户意图的理解。