腾讯混元 3D 世界模型家族又添新成员Voyager:支持超长距离漫游

简介: 9 月 2 日,腾讯混元宣布,其3D世界模型系列最新成员——HunyuanWorld-Voyager(简称混元Voyager)发布并开源,这将推动AI在空间智能领域的应用扩展,为虚拟现实、物理仿真、游戏开发等领域提供高保真3D场景漫游能力,加速行业应用落地。

 

9 月 2 日,腾讯混元宣布,其3D世界模型系列最新成员——HunyuanWorld-Voyager(简称混元Voyager)发布并开源,这将推动AI在空间智能领域的应用扩展,为虚拟现实、物理仿真、游戏开发等领域提供高保真3D场景漫游能力,加速行业应用落地。

 

作为业界首个支持原生3D重建的超长漫游世界模型,混元Voyager突破了传统视频生成在空间一致性和探索范围上的局限,能够生成长距离、世界一致的漫游场景,支持将视频直接导出为3D格式。混元Voyager 3D输入-3D输出的特性,与此前已开源的混元世界模型1.0 高度适配,可进一步扩展 1.0 模型漫游范围,提升复杂场景的生成质量,并可对生成的场景做风格化控制和编辑。

 

不仅如此,混元Voyager 还可支持视频场景重建、3D物体纹理生成、视频风格定制化生成、视频深度估计等多种3D理解与生成应用,展现出空间智能的潜力。该模型现已正式上线,相关技术报告已公开,源代码在GitHub和Hugging Face上免费开放,供全球开发者下载和使用。

 

image.gif 编辑

 

image.gif 编辑

 

image.gif 编辑

当前,谷歌Genie3等支持实时交互的视频生成世界模型备受关注,但其纯2D输出难以满足虚拟现实和物理仿真等应用的3D交互需求。另一方面,直接生成3D场景虽具备空间结构优势,却面临训练数据稀缺和内存效率低下的挑战,无法泛化到更大场景。

混元Voyager是混元世界模型1.0的官方扩展模型,创新性地将场景深度预测引入视频生成过程,融合了视频生成与3D建模优势,基于相机可控的视频生成技术,从初始场景视图和用户指定相机轨迹中,合成可自由控制视角、空间连贯的RGB-D视频(包含RGB图像和深度信息的点云视频)。

用户可通过键盘或者摇杆即可控制生成对应的视频画面,并可以通过3D空间记忆保持画面的高度一致性,实现Genie3相同的能力。同时,Voyager还支持将生成视频无损导出3D点云,无需依赖COLMAP等额外重建工具。

 

image.gif 编辑

混元Voyager首次通过空间与特征结合的方式,支持原生的3D记忆和场景重建,避免了传统后处理带来的延迟和精度损失。同时,在输入端加入3D条件保证画面视角精准,输出端直接生成3D点云,适配多种应用场景。额外的深度信息还能支持视频场景重建、3D物体纹理生成、风格化编辑和深度估计等功能。

 

混元Voyager 还引入了可扩展的世界缓存机制,基于混元 3D 世界模型1.0生成的初始3D点云缓存,将其投影到目标相机视图,为扩散模型提供指导。此外,生成的视频帧还会实时更新缓存,形成闭环系统,支持任意相机轨迹,同时维持几何一致性。这不仅扩展了漫游范围,还为1.0模型补充新视角内容,提升整体生成质量。

 

image.gif 编辑

该模型在斯坦福大学李飞飞团队发布的世界模型基准测试WorldScore上位居综合能力首位,超越现有开源方法,在视频生成和3D重建任务中均表现出色。在视频生成和视频3D重建两个任务上,Voyager也均取得更好的结果。

Voyager在斯坦福大学团队的世界模型排行榜 WorldScore上,取得了综合能力第一名的成绩

 

image.gif 编辑

WorldScore:https://huggingface.co/spaces/Howieeeee/WorldScore_Leaderboard

 

image.gif 编辑

在和现有开源方法的比较中,Voyager可根据生成的视频帧重建出更加精确的3DGS场景

腾讯混元世界模型系列开源正不断加速。7月,混元3D世界模型1.0发布并开源,成为业界首个兼容传统CG管线的可漫游世界生成模型。8月,推出1.0 Lite版,降低显存需求,支持消费级显卡部署。仅两周后,针对遮挡视图和探索范围限制,混元团队进一步优化,推出超长漫游世界模型Voyager。

 

此前,混元已陆续开源业界领先的文生图、视频生成和3D生成能力,提供接近商业模型性能的开源模型。在基础模型方面,混元开源了MoE架构的代表性模型混元large、混合推理模型Hunyuan-A13B,以及多个面向端侧场景的小尺寸模型,最小仅0.5B参数。最新开源的翻译模型Hunyuan-MT-7B在国际翻译比赛中斩获31个语种中的30项冠军。

 

混元3D生成能力全球领先,其最新版本混元3D v2.5在质感上显著提升,于6月上海人工智能实验室评测中荣登全球第一。混元3D系列开源模型下载量位居开源社区榜首,混元3D世界模型1.0上线后迅速登顶Hugging Face论文热榜第一、模型热榜第二。

 

项目主页:

https://3d-models.hunyuan.tencent.com/world/

 

Github:

https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager

 

ModelScope:

https://modelscope.cn/models/Tencent-Hunyuan/HunyuanWorld-Voyager

 

技术报告:

https://3d-models.hunyuan.tencent.com/Voyager/Voyager_en/assets/HYWorld_Voyager.pdf

 

点击链接,即可跳转模型链接~

https://modelscope.cn/models/Tencent-Hunyuan/HunyuanWorld-Voyager

目录
相关文章
|
自然语言处理 开发者
拿下30个第1名的腾讯混元翻译模型,开源!
腾讯混元又带来一个在国际机器翻译比赛拿下30个第1名的翻译模型Hunyuan-MT-7B,它总参数量仅7B,支持33个语种、5种民汉语言/方言互译,是一个能力全面的轻量级翻译模型。
935 0
|
人工智能 自然语言处理 前端开发
魔搭社区模型速递(8.30-9.06)
🙋魔搭ModelScope本期社区进展:3361个模型,313个数据集,73个创新应用, 8篇内容
922 1
|
10月前
|
自然语言处理 语音技术 Apache
阶跃星辰发布首个开源 LLM 级音频编辑大模型 Step-Audio-EditX
阶跃星辰发布全球首个开源LLM级音频编辑大模型Step-Audio-EditX,支持零样本TTS、多语言方言及情感、风格、副语言特征精准控制,采用统一LLM框架,实现文本驱动音频创作。
1241 88
|
11月前
|
编解码 调度 图形学
腾讯混元世界模型1.1开源:支持多视图及视频输入,单卡部署,秒级生成_魔搭ModelScope社区-ModelScope魔搭社区
混元世界模型1.1(WorldMirror)发布,支持多视图、视频输入,单卡秒级生成3D场景。兼容CG管线,开源可部署,实现点云、深度、相机等多任务统一预测,性能领先。
787 1
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
UI-Ins:让 GUI 智能体真正“看懂”用户指令的新范式
通义实验室联合人大发布全新GUI Grounding模型UI-Ins,首创“指令即推理”范式,通过多视角动态推理实现SOTA性能,在五大基准全面领先,支持开源复现与应用。
1178 1
|
人工智能
四大公益场景,20万奖金!AI开源公益创新挑战赛邀你一起「小有可为」
四大公益场景,20万奖金!AI开源公益创新挑战赛邀你一起「小有可为」
747 8
|
调度 开发者 异构计算
冠军10万美金!AMD 2025 分布式推理算子优化挑战赛来了
冠军10万美金!AMD 2025 分布式推理算子优化挑战赛来了
785 13
|
9月前
|
人工智能 监控 Cloud Native
架构级拆解:AI数字人与数字员工的核心差异,玄晶引擎云原生实践启示
本文揭示AI数字人与AI数字员工的本质差异:前者仅为可视化交互组件,后者是具备业务闭环能力的云原生智能体。基于玄晶引擎与阿里云PAI实测,从架构、系统对接到弹性部署,解析如何实现“交互→决策→执行”全流程自动化,助力开发者精准选型,避免落地陷阱。
744 11
|
11月前
|
人工智能 编解码 芯片
【AI绘画】你有多久没有打开SD了?
曾几何时,Stable Diffusion的复杂参数令人崩溃,如今即梦、可灵等AI工具已让生成图片变得轻而易举。哩布哩布发布2.0升级公告,看似迈向更易用的未来,却也悄然为那个钻研模型、拼接工作流的“拓荒时代”奏响终章。技术迭代飞快,但那份对创造的热爱与探索精神,永不褪色。
1172 9
|
10月前
|
人工智能 测试技术
NeurlPS 2025!多伦多大学TIRE助力3D/4D 生成精准保留主体身份
TIRE提出“追踪-补全-重投影”三阶段方法,实现主体驱动的3D/4D生成。通过视频跟踪识别缺失区域,定制2D模型补全纹理,并重投影至3D空间,提升生成一致性与质量,推动动态场景生成新进展。
527 8
NeurlPS 2025!多伦多大学TIRE助力3D/4D 生成精准保留主体身份

热门文章

最新文章