阶跃星辰联合光影焕像开源 3D 大模型 Step1X-3D,高保真+可控!

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 阶跃星辰联合光影焕像开源 3D 大模型 Step1X-3D,高保真+可控!

01.前言

上周阶跃星辰团队刚发布了音跃模型 ACE-Step,本周阶跃星辰联合光影焕像,在多模态方向上再迈坚实一步,正式发布并开源 3D 大模型——Step1X-3D!这是继图像、视频、语音、音乐等模态后,阶跃星辰在多模态方向的最新成果。

光影焕像是一家专注于3D AIGC和空间智能技术的人工智能初创公司,致力于通过AI解放3D内容生产力。光影焕像自设立之后,迅速建立了算法研发和产品落地并重的海内外人才梯队,拥有一批3D AIGC领域顶尖人才,汇集了来自港科大博士、字节、美团等具有顶级研发能力和丰富技术产品化经验的同学。迄今为止已发表多个3D AIGC代表性工作,目前持续重点投入3D和空间智能相关的AI底层模型的研发,打造3D空间智能大脑,同时也在积极推进3D内容商业化落地。

阶跃星辰联合光影焕像发布并开源Step1X-3D 模型,旨在为 3D 内容创作提供强大而可靠的技术引擎。Step1X-3D总参数量达 4.8B(几何模块 1.3B,纹理模块 3.5B),凭借坚实的数据基础与先进的 3D 原生架构,可生成高保真、可控的 3D 内容。Step1X-3D 不止于视觉“好看”,更追求实现“好用”与“可控”。

 https://live.csdn.net/v/477666

阶跃星辰团队公布了完整的数据清洗策略,数据预处理策略,以及 800K 高质量的 3D 资产,3D VAE、3D geometry Diffusion 以及 texture Diffusion 的全链路训练代码开源,助力 3D 生成社区发展。

开源链接与体验地址:

GitHub:

https://github.com/stepfun-ai/Step1X-3D

Project:

https://stepfun-ai.github.io/Step1X-3D/

ModelScope:

https://www.modelscope.cn/models/stepfun-ai/Step1X-3D

Tech Report:

https://arxiv.org/pdf/2505.07747

02.核心特性与技术支撑

Step1X-3D 尝试解决 3D 内容生成的关键挑战,在数据、生成质量与可控性上进行了创新实践。

1、数据驱动与算法协同优化

好数据是好模型的基础。Step1X-3D 对超 500 万原始数据进行严格筛选与处理后,建立了包含 200 万高质量、标准化的训练样本库,有效克服了行业数据稀缺与质量参差的瓶颈。

image.gif 编辑

数据处理流程示意图

此外,Step1X-3D 通过增强型网格-SDF 转换技术等方法,从源头保障了模型学习的精准性与最终生成的高效性,让水密几何转换成功率提升了 20%,也让 Step1X-3D 拥有了强大的泛化能力与细节捕捉力。

image.gif 编辑

Step1X-3D 数据筛选与 SDF 转换流程示意图

2、3D 原生生成:结构清晰、细节生动

Step1X-3D 采用先进的 3D 原生两阶段架构,解耦几何与纹理表征,确保生成的不仅是视觉“皮囊”,更是结构可靠、可供下游应用的“骨架”,有效规避几何失真,保证生成的准确性、真实感与一致性。

image.gif 编辑

Step1X-3D 的原生 3D 架构

image.gif 编辑

几何生成模型基于 FLUX MMDiT 结构和 Rectified flow 算法直接对 3D 表示生成进行建模

image.gif 编辑

纹理生成模型基于预训练的 Diffusion model,通过单视图和 3D 几何信息指导,生成多视角一致的纹理信息

  • 几何塑形更精准

几何生成的核心在于采用为 3D 特性深度优化的创新混合 VAE-DiT 架构。该架构负责生成 TSDF 内部表示,确保产出的 3D 模型结构完整、无破面漏点;同时通过引入锐利边缘采样(Sharp Edge Sampling)等技术,精准捕捉并还原物体的丰富几何细节。

image.gif 编辑

几何示例:覆盖硬边与曲面结构

  • 纹理细节更生动

纹理生成则基于强大的 SD-XL 模型进行深度定制与优化。通过几何条件(利用法线与位置信息)的精准引导,以及潜在空间多视图同步技术,实现了与几何模块的高效协同。确保生成的纹理不仅色彩饱满、质感生动逼真,更能跨越多视图保持高度一致,与复杂三维表面精密贴合,有效避免常见的扭曲与接缝瑕疵。

image.gif 编辑

纹理示例:呈现清晰一致的表面纹理

3、控制简单、效果可调

Step1X-3D 显著提升了 3D 内容生成的可控性与易用性。其关键在于,VAE-Diffusion 整体架构在设计上与主流 2D 生成模型(如 Stable Diffusion)保持了高度一致性,从而能够无缝引入并应用成熟的 2D 控制技术(如轻量化的 LoRA 微调)。

因此用户可以对生成 3D 资产的对称性、表面细节(如锋利度、平滑度)等多种属性进行直观、精细的调控,让创作更精准地符合用户意图。

image.gif 编辑

对比图 1:对称性控制效果

image.gif 编辑

对比图 2:表面细节控制效果(锋利/平滑)

03.性能评估

为了客观评估 Step1X-3D 的实际效果,我们通过一个自建的综合测试(包含 110 个多样化测试用例),对 Step1X-3D 进行了严格的定量与定性评估,同时与多款主流模型进行全面对比。

结果显示:在自动评估中,Step1X-3D 在多项关键维度上均表现出色。

image.gif 编辑

在与主流 3D 模型的对比评测中,特别是在衡量内容与输入语义一致性的核心指标 CLIP-Score 上,Step1X-3D 取得了当前所有对比模型中的最高分,为开源社区提供了极具竞争力的 3D 生成方案。

image.gif 编辑

不同 3D 模型测评对比数据

点击链接, 即可跳转模型连接~

https://www.modelscope.cn/models/stepfun-ai/Step1X-3D


目录
相关文章
|
1月前
|
人工智能 负载均衡 数据可视化
10分钟上手全球开源模型冠军 Qwen3
阿里通义千问Qwen3在最新全球AI基准测试中智能水平位列全球前五,开源第一,且成本优势显著,推理成本仅为DeepSeek-R1的1/3、Claude 3.7的1/20。Qwen3支持119种语言,具备强大的代码和数学能力,同时提供思考与非思考两种模式无缝切换,适合复杂与简单任务。通过阿里云百炼平台,用户可在10分钟内快速搭建Qwen3模型服务,结合Cherry Studio客户端实现便捷交互。本文详细介绍了Qwen3的部署、体验及工具调用能力,帮助用户轻松上手。
637 78
|
30天前
|
人工智能 监控 API
狂揽22.6k星!这个开源工具让你一键调用100+大模型,开发效率直接起飞!
LiteLLM是由BerriAI团队开发的开源项目,通过标准化OpenAI格式API接口,支持调用100+主流大语言模型(如OpenAI、Azure、Anthropic等)。其核心功能包括统一调用方式、企业级智能路由、异步流式响应及环境变量管理。项目适用于企业AI中台搭建、多模型对比测试、教育科研实验等场景。技术架构涵盖接口层、路由层、管理层与监控层,提供高效稳定的服务。相比LangChain、LlamaIndex等项目,LiteLLM在多平台混合开发方面优势显著。项目地址:https://github.com/BerriAI/litellm。
|
9天前
|
机器学习/深度学习 编解码 文字识别
小米又放大招!MiMo-VL 多模态大模型开源,魔搭推理微调全面解读来了!
今天,小米开源发布两款 7B 规模视觉-语言模型 MiMo-VL-7B-SFT 和 MiMo-VL-7B-RL。
135 9
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
通义千问推理模型QwQ-32B开源,更小尺寸、更强性能
阿里云发布并开源全新推理模型通义千问QwQ-32B,通过大规模强化学习,在数学、代码及通用能力上实现质的飞跃,性能比肩DeepSeek-R1。该模型大幅降低部署成本,支持消费级显卡本地部署,并集成智能体Agent相关能力。阿里云采用Apache2.0协议全球开源,用户可通过通义APP免费体验。此外,通义团队已开源200多款模型,覆盖全模态和全尺寸。
|
9天前
|
测试技术
字节Seed开源统一多模态理解和生成模型 BAGEL!
近期,字节跳动Seed推出了 BAGEL—— 一个开源的多模态理解和生成础模型,具有70亿个激活参数(总共140亿个),并在大规模交错多模态数据上进行训练。
87 4
|
1月前
|
编解码 人工智能
通义万相Wan2.1-VACE开源!业内首个视频编辑统一模型!附推理教程
通义万相Wan2.1-VACE开源!业内首个视频编辑统一模型!附推理教程
330 7
|
20天前
|
机器学习/深度学习 自然语言处理 算法框架/工具
实战 | Qwen2.5-VL模型目标检测(Grounding)任务领域微调教程
在目标检测领域,众多神经网络模型早已凭借其卓越的性能,实现了精准的目标检测与目标分割效果。然而,随着多模态模型的崛起,其在图像分析方面展现出的非凡能力,为该领域带来了新的机遇。多模态模型不仅能够深入理解图像内容,还能将这种理解转化为文本形式输出,极大地拓展了其应用场景。
1363 74
|
1月前
|
数据可视化 API Swift
全模态图像模型Nexus-Gen对齐GPT-4o!同时搞定,数据、训练框架、模型全面开源
OpenAI GPT-4o发布强大图片生成能力后,业界对大模型生图能力的探索向全模态方向倾斜,训练全模态模型成研发重点。
158 17

热门文章

最新文章