模型手动绑骨3天,AI花3分钟搞定!UniRig:清华开源通用骨骼自动绑定框架,助力3D动画制作

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: UniRig是清华大学与VAST联合研发的自动骨骼绑定框架,基于自回归模型与交叉注意力机制,支持多样化3D模型的骨骼生成与蒙皮权重预测,其创新的骨骼树标记化技术显著提升动画制作效率。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🎮 "手动绑骨3天VS AI 3分钟!清华开源框架让动画师集体破防"

大家好,我是蚝油菜花。当动画师还在为复杂模型的手动骨骼绑定熬夜爆肝时,这个来自清华大学的黑科技正在改写3D动画的生产规则!

你是否也经历过这些崩溃时刻:

  • 🦖 给异形生物绑骨时,关节旋转轴永远对不齐
  • 🧬 处理有机结构模型,蒙皮权重刷到手指抽筋
  • ⏳ 复杂机械体骨骼调试,改一版就得重做动画...

今天要解剖的 UniRig ,正是破解这些行业痛点的「三维动画加速器」!这个由清华与VAST联合研发的框架,用三项核心技术重塑骨骼绑定流程:

  • 全类别通杀:从二次元角色到工业机械,14,000+模型训练验证
  • 物理级精度:骨骼属性预测支持弹性动力学模拟
  • 工业级效率:单模型处理速度较传统方法提升20倍

已有动画工作室用它实现日更级产能,游戏团队靠AI生成机甲骨骼——你的3D流水线准备好迎接智能革命了吗?

🚀 快速阅读

  1. UniRig是基于自回归模型与骨骼树标记化技术的自动骨骼绑定框架。
  2. 核心功能:支持全类别模型骨骼生成与蒙皮权重预测
  3. 技术原理:通过深度优先搜索算法实现骨骼结构序列化编码,结合交叉注意力机制优化权重预测

UniRig 是什么

UniRig

UniRig由清华大学计算机系与VAST联合研发,是首个支持全类别3D模型的自动骨骼绑定框架。该框架创新性地将骨骼结构转换为序列化标记,利用自回归模型实现拓扑结构预测,突破传统方法在模型多样性上的限制。

其核心突破在于构建包含14,000+模型的Rig-XL数据集,通过大规模训练使模型具备跨类别泛化能力。框架采用物理模拟辅助训练策略,确保生成的骨骼属性支持动力学效果,为动画制作提供更高自由度的控制。

UniRig 的主要功能

  • 全类别骨骼生成:支持人类/动物/机械等复杂结构的拓扑正确骨骼树构建
  • 智能蒙皮预测:通过骨骼-顶点交叉注意力机制精准计算权重分布
  • 物理属性适配:自动生成支持弹簧动力学等效果的骨骼参数
  • 批量处理支持:命令行工具实现多模型并行处理

UniRig 的技术原理

  • 骨骼树标记化:采用深度优先搜索算法将骨骼结构序列化,压缩标记长度至传统方法的1/5
  • 自回归预测网络:基于Transformer架构逐标记生成骨骼树,确保拓扑有效性
  • 点云特征融合:通过多层感知机提取网格几何特征,与骨骼特征交叉计算蒙皮权重
  • 物理模拟监督:在训练阶段引入弹性力学模拟,优化权重预测的物理合理性

如何运行 UniRig

安装

1. 前提条件

  • Python 3.11
  • PyTorch(测试版本 >=2.3.1)

2. 克隆仓库

git clone https://github.com/VAST-AI-Research/UniRig
cd UniRig

3. 设置虚拟环境(推荐)

conda create -n UniRig python=3.11
conda activate UniRig

4. 安装依赖

python -m pip install torch torchvision
python -m pip install -r requirements.txt
python -m pip install spconv-{
   your-cuda-version}
python -m pip install torch_scatter torch_cluster -f https://data.pyg.org/whl/torch-{
   your-torch-version}+{
   your-cuda-version}.html --no-cache-dir
python -m pip install numpy==1.26.4

5. 下载模型检查点

当前可用的骨架预测模型检查点托管在 Hugging Face 上,并且通常会通过提供的脚本/函数自动下载。

6. (可选,用于导入/导出 .vrm)安装 Blender 插件

Blender 插件是从VRM-Addon-for-Blender修改而来。

确保您在项目的根目录下,然后运行:

python -c "import bpy, os; bpy.ops.preferences.addon_install(filepath=os.path.abspath('blender/add-on-vrm-v2.20.77_modified.zip'))"

使用

骨架预测(现已可用)

使用预训练模型为您的 3D 模型生成骨架。该过程会自动分析几何结构并预测适当的骨架结构。

# 处理单个文件
bash launch/inference/generate_skeleton.sh --input examples/giraffe.glb --output results/giraffe_skeleton.fbx

# 处理目录中的多个文件
bash launch/inference/generate_skeleton.sh --input_dir <your_input_directory> --output_dir <your_output_directory>

# 通过更改随机种子尝试不同的骨架变体
bash launch/inference/generate_skeleton.sh --input examples/giraffe.glb --output results/giraffe_skeleton.fbx --seed 42

支持的输入格式:.obj, .fbx, .glb, 和 .vrm

合并预测结果

将预测的骨架与原始 3D 模型结合,创建一个完全绑定的资产:

bash launch/inference/merge.sh --source results/giraffe_skeleton.fbx --target examples/giraffe.glb --output results/giraffe_rigged.glb

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关文章
|
30天前
|
人工智能 算法 开发者
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
186 10
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
|
29天前
|
人工智能 自然语言处理 搜索推荐
AI Compass前沿速览:Qoder Agentic编程、vivo Vision头显、AIRI桌面伴侣、RM-Gallery奖励模型平台
AI Compass前沿速览:Qoder Agentic编程、vivo Vision头显、AIRI桌面伴侣、RM-Gallery奖励模型平台
AI Compass前沿速览:Qoder Agentic编程、vivo Vision头显、AIRI桌面伴侣、RM-Gallery奖励模型平台
|
1月前
|
云安全 机器学习/深度学习 人工智能
阿里云安全Black Hat技术开源大揭秘,AI安全检测的工程化实践
阿里云安全 LLMDYara框架开源核心思路,赋能云安全产品!
|
1月前
|
存储 人工智能 算法
AI测试平台实战:深入解析自动化评分和多模型对比评测
在AI技术迅猛发展的今天,测试工程师面临着如何高效评估大模型性能的全新挑战。本文将深入探讨AI测试平台中自动化评分与多模型对比评测的关键技术与实践方法,为测试工程师提供可落地的解决方案。
|
1月前
|
数据采集 人工智能 定位技术
分享一个开源的MCP工具使用的AI Agent 支持常用的AI搜索/地图/金融/浏览器等工具
介绍一个开源可用的 MCP Tool Use 通用工具使用的 AI Agent (GitHub: https://github.com/AI-Agent-Hub/mcp-marketplace ,Web App https://agent.deepnlp.org/agent/mcp_tool_use,支持大模型从Open MCP Marketplace (http://deepnlp.org/store/ai-agent/mcp-server) 的1w+ 的 MCP Server的描述和 Tool Schema 里面,根据用户问题 query 和 工具 Tool描述的 相关性,选择出来可以满足
|
1月前
|
人工智能 云栖大会 Anolis
|
1月前
|
机器学习/深度学习 数据采集 人工智能
阿里开源即封神,一上线就斩获4000+ star背后的真相,WebAgent多步骤智能网搜神器,颠覆你对AI的信息检索印象!
WebAgent 是阿里巴巴开源的多步骤智能网搜神器,包含 WebWalker、WebDancer、WebSailor 等模块,支持复杂推理与长上下文信息检索,GitHub 已获 4.7k star,颠覆传统 AI 搜索方式。
215 1
|
1月前
|
人工智能 自然语言处理 负载均衡
排期延误预警:用AI预测项目风险的3层模型搭建教程
本文介绍了如何通过 AI 智能排期将项目排期误差减少 40% 以上。文章剖析了传统排期中常见的经验依赖、资源冲突、需求变更和进度滞后四大痛点,提出 AI 排期的三步落地方法:历史数据建模、动态适配需求、资源智能匹配,并推荐适配不同团队的 AI 排期工具。强调 AI 是辅助而非替代,核心在于用数据驱动提升排期准确性,帮助团队告别“拍脑袋估期”,实现高效、可控的项目管理。
排期延误预警:用AI预测项目风险的3层模型搭建教程
|
1月前
|
人工智能 数据可视化 决策智能
京东零售重磅开源 | OxyGent:像搭乐高一样组装AI团队,实现群体智能
京东零售Oxygen团队正式开源发布多智能体协作框架——OxyGent。这一创新框架致力于帮助开发者高效组装多智能体协作系统,实现智能体间的无缝协作、弹性扩展与全链路可追溯。推动人工智能从“单点突破”迈向“群体智能”时代。
124 0

热门文章

最新文章