模型手动绑骨3天,AI花3分钟搞定!UniRig:清华开源通用骨骼自动绑定框架,助力3D动画制作

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: UniRig是清华大学与VAST联合研发的自动骨骼绑定框架,基于自回归模型与交叉注意力机制,支持多样化3D模型的骨骼生成与蒙皮权重预测,其创新的骨骼树标记化技术显著提升动画制作效率。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🎮 "手动绑骨3天VS AI 3分钟!清华开源框架让动画师集体破防"

大家好,我是蚝油菜花。当动画师还在为复杂模型的手动骨骼绑定熬夜爆肝时,这个来自清华大学的黑科技正在改写3D动画的生产规则!

你是否也经历过这些崩溃时刻:

  • 🦖 给异形生物绑骨时,关节旋转轴永远对不齐
  • 🧬 处理有机结构模型,蒙皮权重刷到手指抽筋
  • ⏳ 复杂机械体骨骼调试,改一版就得重做动画...

今天要解剖的 UniRig ,正是破解这些行业痛点的「三维动画加速器」!这个由清华与VAST联合研发的框架,用三项核心技术重塑骨骼绑定流程:

  • 全类别通杀:从二次元角色到工业机械,14,000+模型训练验证
  • 物理级精度:骨骼属性预测支持弹性动力学模拟
  • 工业级效率:单模型处理速度较传统方法提升20倍

已有动画工作室用它实现日更级产能,游戏团队靠AI生成机甲骨骼——你的3D流水线准备好迎接智能革命了吗?

🚀 快速阅读

  1. UniRig是基于自回归模型与骨骼树标记化技术的自动骨骼绑定框架。
  2. 核心功能:支持全类别模型骨骼生成与蒙皮权重预测
  3. 技术原理:通过深度优先搜索算法实现骨骼结构序列化编码,结合交叉注意力机制优化权重预测

UniRig 是什么

UniRig

UniRig由清华大学计算机系与VAST联合研发,是首个支持全类别3D模型的自动骨骼绑定框架。该框架创新性地将骨骼结构转换为序列化标记,利用自回归模型实现拓扑结构预测,突破传统方法在模型多样性上的限制。

其核心突破在于构建包含14,000+模型的Rig-XL数据集,通过大规模训练使模型具备跨类别泛化能力。框架采用物理模拟辅助训练策略,确保生成的骨骼属性支持动力学效果,为动画制作提供更高自由度的控制。

UniRig 的主要功能

  • 全类别骨骼生成:支持人类/动物/机械等复杂结构的拓扑正确骨骼树构建
  • 智能蒙皮预测:通过骨骼-顶点交叉注意力机制精准计算权重分布
  • 物理属性适配:自动生成支持弹簧动力学等效果的骨骼参数
  • 批量处理支持:命令行工具实现多模型并行处理

UniRig 的技术原理

  • 骨骼树标记化:采用深度优先搜索算法将骨骼结构序列化,压缩标记长度至传统方法的1/5
  • 自回归预测网络:基于Transformer架构逐标记生成骨骼树,确保拓扑有效性
  • 点云特征融合:通过多层感知机提取网格几何特征,与骨骼特征交叉计算蒙皮权重
  • 物理模拟监督:在训练阶段引入弹性力学模拟,优化权重预测的物理合理性

如何运行 UniRig

安装

1. 前提条件

  • Python 3.11
  • PyTorch(测试版本 >=2.3.1)

2. 克隆仓库

git clone https://github.com/VAST-AI-Research/UniRig
cd UniRig

3. 设置虚拟环境(推荐)

conda create -n UniRig python=3.11
conda activate UniRig

4. 安装依赖

python -m pip install torch torchvision
python -m pip install -r requirements.txt
python -m pip install spconv-{
   your-cuda-version}
python -m pip install torch_scatter torch_cluster -f https://data.pyg.org/whl/torch-{
   your-torch-version}+{
   your-cuda-version}.html --no-cache-dir
python -m pip install numpy==1.26.4

5. 下载模型检查点

当前可用的骨架预测模型检查点托管在 Hugging Face 上,并且通常会通过提供的脚本/函数自动下载。

6. (可选,用于导入/导出 .vrm)安装 Blender 插件

Blender 插件是从VRM-Addon-for-Blender修改而来。

确保您在项目的根目录下,然后运行:

python -c "import bpy, os; bpy.ops.preferences.addon_install(filepath=os.path.abspath('blender/add-on-vrm-v2.20.77_modified.zip'))"

使用

骨架预测(现已可用)

使用预训练模型为您的 3D 模型生成骨架。该过程会自动分析几何结构并预测适当的骨架结构。

# 处理单个文件
bash launch/inference/generate_skeleton.sh --input examples/giraffe.glb --output results/giraffe_skeleton.fbx

# 处理目录中的多个文件
bash launch/inference/generate_skeleton.sh --input_dir <your_input_directory> --output_dir <your_output_directory>

# 通过更改随机种子尝试不同的骨架变体
bash launch/inference/generate_skeleton.sh --input examples/giraffe.glb --output results/giraffe_skeleton.fbx --seed 42

支持的输入格式:.obj, .fbx, .glb, 和 .vrm

合并预测结果

将预测的骨架与原始 3D 模型结合,创建一个完全绑定的资产:

bash launch/inference/merge.sh --source results/giraffe_skeleton.fbx --target examples/giraffe.glb --output results/giraffe_rigged.glb

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关文章
|
6天前
|
人工智能 监控 数据挖掘
5个开源MCP服务器:扩展AI助手能力,高效处理日常工作
AI大语言模型虽强大,但其原生能力仅限于文本对话,难以直接与外部世界交互。MCP(Model Context Protocol)服务器技术作为桥梁,赋予AI实质性环境交互能力,如浏览网页、分析数据等。本文基于实际经验,精选五种开源MCP服务器实现:Stagehand用于网络内容提取;Jupyter适用于数据分析;Opik提供AI行为监控;GitHub集成代码仓库管理;FastAPI-MCP支持自定义API集成。这些工具免费且可定制,为构建实用AI系统奠定基础。文章还提供了配置指南和应用场景剖析,助读者快速上手。
189 3
5个开源MCP服务器:扩展AI助手能力,高效处理日常工作
|
4天前
|
人工智能 自然语言处理 数据可视化
中国版“Manus”开源?AiPy:用Python重构AI生产力的通用智能体
AiPy是LLM大模型+Python程序编写+Python程序运行+程序可以控制的一切。
|
4天前
|
机器学习/深度学习 人工智能 Kubernetes
开源AI驱动的商业综合体保洁管理——智能视频分析系统的技术解析
智能保洁管理系统通过计算机视觉与深度学习技术,解决传统保洁模式中监管难、效率低的问题。系统涵盖垃圾滞留监测、地面清洁度评估、设施表面检测等功能,实现高精度(96%以上)、实时响应(&lt;200毫秒)。基于开源TensorFlow与Kubernetes架构,支持灵活部署与定制开发,适用于商场、机场等场景,提升管理效率40%以上。未来可扩展至气味监测等领域,推动保洁管理智能化升级。
60 26
|
22天前
|
数据可视化 Rust 机器学习/深度学习
mlop.ai 无脑使用教程 (机器学习工具 WandB/ClearML 的首个国区开源平替)
mlop.ai 是首个为国区用户优化的机器学习工具,全栈免费开源,是主流付费解决方案 ClearML/WandB 的开源平替。常规实验追踪的工具经常大幅人为降速,mlop因为底层为Rust代码,能轻松支持高频数据写入。如需更多开发者帮助或企业支持,敬请联系cn@mlop.ai
72 12
mlop.ai 无脑使用教程 (机器学习工具 WandB/ClearML 的首个国区开源平替)
|
16天前
|
机器学习/深度学习 人工智能 算法
破解生成式AI认知边界:框架思维引擎如何重塑产业智能化未来
该内容深入解析了核心技术架构,涵盖思维链强化系统(DTT)、认知框架建模体系和实时纠偏算法体系。DTT通过多级问题拆解、混合精度推理及分布式验证,大幅提升复杂问题处理能力;认知框架结合知识图谱与逻辑推理,实现精准医疗诊断等应用;实时纠偏算法则通过多级验证机制保障事实与逻辑准确性。整体架构分应用层、框架层和基础层,支持高效、可信的跨领域适配。技术创新体现在混合计算加速、持续学习机制等方面,显著优于传统模型,在事实准确性、逻辑连续性及响应速度上优势明显。
66 28
|
7天前
|
SQL 人工智能 数据可视化
StarRocks MCP Server 开源发布:为 AI 应用提供强大分析中枢
StarRocks MCP Server 提供通用接口,使大模型如 Claude、OpenAI 等能标准化访问 StarRocks 数据库。开发者无需开发专属插件或复杂接口,模型可直接执行 SQL 查询并探索数据库内容。其基于 MCP(Model Context Protocol)协议,包含工具、资源和提示词三类核心能力,支持实时数据分析、自动化报表生成及复杂查询优化等场景,极大简化数据问答与智能分析应用构建。项目地址:https://github.com/StarRocks/mcp-server-starrocks。
|
2天前
|
人工智能 负载均衡 API
长连接网关技术专题(十二):大模型时代多模型AI网关的架构设计与实现
随着 AI 技术快速发展,业务对 AI 能力的渴求日益增长。当 AI 服务面对处理大规模请求和高并发流量时,AI 网关从中扮演着至关重要的角色。AI 服务通常涉及大量的计算任务和设备资源占用,此时需要一个 AI 网关负责协调这些请求来确保系统的稳定性与高效性。因此,与传统微服务架构类似,我们将相关 API 管理的功能(如流量控制、用户鉴权、配额计费、负载均衡、API 路由等)集中放置在 AI 网关层,可以降低系统整体复杂度并提升可维护性。 本文要分享的是B站在大模型时代基于多模型AI的网关架构设计和实践总结,希望能带给你启发。
29 4
|
4天前
|
SQL 人工智能 自然语言处理
阿里云 AI 搜索开放平台新功能发布:新增GTE自部署模型
阿里云 AI搜索开放平台正式推出 GTE 多语言通用文本向量模型(iic/gte_sentence-embedding_multilingual-base)
|
2天前
|
机器学习/深度学习 人工智能 算法
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
本文介绍了如何使用 Python 和 YOLO v8 开发专属的 AI 视觉目标检测模型。首先讲解了 YOLO 的基本概念及其高效精准的特点,接着详细说明了环境搭建步骤,包括安装 Python、PyCharm 和 Ultralytics 库。随后引导读者加载预训练模型进行图片验证,并准备数据集以训练自定义模型。最后,展示了如何验证训练好的模型并提供示例代码。通过本文,你将学会从零开始打造自己的目标检测系统,满足实际场景需求。
20 0
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
|
9天前
|
人工智能 开发框架 前端开发
斩获3K+ star,再见传统开发!这款开源AI后台开发框架让效率提升300%
ruoyi-ai 是基于 ruoyi-plus 框架开发的开源 AI 平台,集成 ChatGPT4、DALL·E-3 和 MidJourney 等前沿模型,提供聊天、绘画、语音克隆等全栈式 AI 能力。其核心价值在于多模态交互与企业级部署支持,开发者可快速搭建智能应用,个人用户亦能轻松体验 AI 创作魅力。项目支持自定义知识库训练、AI 绘画生成、语音克隆、弹幕互动等功能,采用 Java17+SpringBoot3.X 技术栈,前后端分离设计,具备高效性能与扩展性。相比同类项目,ruoyi-ai 提供更丰富的功能组合和企业级管理能力,适用于多种场景需求。
100 3

热门文章

最新文章