❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
原文链接：https://mp.weixin.qq.com/s/DTGhtsCoG6tscw4xXLteNw
🚀 快速阅读
- 功能：根据文本或图像提示生成高质量 3D 资产，支持多种输出格式和灵活编辑。
- 技术：基于 Structured LATent (SLAT) 表示法和修正流变换器，融合稀疏 3D 网格和多视图视觉特征。
- 应用：广泛应用于游戏开发、电影制作、虚拟现实、建筑设计和教育等领域。
正文（附运行示例）
TRELLIS 是什么
TRELLIS 是由清华大学、中国科学技术大学和微软研究院联合推出的高质量 3D 生成模型。它基于 Structured LATent (SLAT) 表示法，能够从文本或图像提示中生成高质量、多样化的 3D 资产。模型通过融合稀疏的 3D 网格结构和从多视角提取的密集视觉特征，全面捕捉 3D 资产的几何和外观信息。
TRELLIS 的核心是修正流变换器，它能够处理 SLAT 的稀疏性，并在大规模 3D 资产数据集上进行训练，参数高达 20 亿。TRELLIS 能够生成细节丰富的 3D 模型，支持多种输出格式，并能对 3D 资产进行灵活编辑。
TRELLIS 的主要功能
- 高质量 3D 生成：根据文本或图像提示生成具有复杂几何结构和细致纹理的 3D 资产。
- 多格式输出：支持将 3D 资产生成为多种格式，包括辐射场（Radiance Fields）、3D 高斯（3D Gaussians）和网格（meshes）。
- 灵活编辑：支持用户对生成的 3D 资产进行局部编辑，如添加、删除或替换特定区域，无需整体调整。
- 无需拟合训练：在训练过程中，不需要对 3D 资产进行拟合，简化训练流程、提高效率。
TRELLIS 的技术原理
- Structured LATent (SLAT) 表示：使用 SLAT 作为统一的 3D 潜在表示，基于稀疏的 3D 网格上定义局部潜在变量编码 3D 资产的几何和外观信息。
- 多视图视觉特征：基于强大的视觉基础模型提取的多视图视觉特征，用于详细编码 3D 资产的结构和外观信息。
- 修正流变换器：基于修正流变换器作为其 3D 生成模型的核心，特别适应于处理 SLAT 的稀疏性，能高效地生成 3D 资产。
- 两阶段生成流程：首先生成 SLAT 的稀疏结构，然后在已生成的结构上生成局部潜在向量，灵活生成不同格式的 3D 表示。
- 训练与优化：在大规模的 3D 资产数据集上进行训练，用特定的重建损失和 KL 惩罚优化编码器和解码器，确保生成的 3D 资产与原始数据高度一致。
如何运行 TRELLIS
以下是一个简单的示例，展示如何使用 TRELLIS 生成 3D 资产：
import os
os.environ['SPCONV_ALGO'] = 'native'
import imageio
from PIL import Image
from trellis.pipelines import TrellisImageTo3DPipeline
from trellis.utils import render_utils, postprocessing_utils
# 加载模型
pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
pipeline.cuda()
# 加载图像
image = Image.open("assets/example_image/T.png")
# 运行模型
outputs = pipeline.run(image, seed=1)
# 渲染输出
video = render_utils.render_video(outputs['gaussian'][0])['color']
imageio.mimsave("sample_gs.mp4", video, fps=30)
# 保存为 GLB 文件
glb = postprocessing_utils.to_glb(outputs['gaussian'][0], outputs['mesh'][0])
glb.export("sample.glb")
运行上述代码后，你将获得以下文件：
sample_gs.mp4：展示 3D 高斯表示的视频。sample.glb：包含提取的纹理网格的 GLB 文件。
资源
- 项目官网：https://trellis3d.github.io
- GitHub 仓库：https://github.com/Microsoft/TRELLIS
- arXiv 技术论文：https://arxiv.org/pdf/2412.01506
- 在线体验 Demo：https://huggingface.co/spaces/JeffreyXiang/TRELLIS
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
