❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
🚀 「当LLM遇见3D物理引擎：开源框架实现剧本→动画全自动生成」
大家好，我是蚝油菜花。在SIGGRAPH 2024引爆讨论的Sitcom-Crafter，正在重新定义3D内容创作：
三大技术革命：
- 1️⃣ 场景感知SDF：无需数据采集即可模拟真实物理交互
- 2️⃣ 多智能体协同：20+角色同步生成无碰撞动作
- 3️⃣ 跨平台重定向：5分钟适配Maya/Blender/Unity工作流
从独立游戏到影视级动画，这套系统已帮助团队将动作制作效率提升300%。接下来我们将深度解析其八大模块如何协作——你的动画师可能要转型AI教练了！
🚀 快速阅读
Sitcom-Crafter 是一个基于剧情驱动的 3D 动作生成系统，能够高效生成符合物理逻辑的动作。
- 核心功能：支持人类行走、场景交互和多人交互，并通过增强模块优化动作流畅性和自然性。
- 技术原理：结合自监督 SDF 策略和扩散模型，解决碰撞问题并生成多样化的动作。
Sitcom-Crafter 是什么
Sitcom-Crafter 是一套综合性的 3D 场景中人类动作生成系统，旨在通过剧情指导生成多样化且物理真实的动作。它由八大部分组成，其中三大模块专注于运动生成，其余五个模块则用于动作优化和增强。
该系统的核心创新点在于其 3D 场景感知技术和自监督 SDF 策略，无需额外数据采集即可生成符合物理逻辑的动作。这种设计显著提升了创作效率，为动画制作、游戏开发以及虚拟现实等领域的设计师提供了高效的智能化解决方案。
此外，Sitcom-Crafter 支持多种动作类型，包括人类行走、人与场景交互以及人与人之间的交互。这使得它在复杂剧情驱动的任务中表现尤为突出。
Sitcom-Crafter 的主要功能
- 人类行走：角色在 3D 场景中自然行走，支持动态路径规划。
- 人类与场景交互：角色与环境物体进行符合物理逻辑的交互，例如开门或拾取物品。
- 人类之间交互：角色之间协调动作，减少碰撞并优化同步性。
- 剧情解析：通过大型语言模型解析剧本，转化为具体的角色动作指令。
- 运动同步：确保不同模块生成的运动在时间上保持一致。
- 手部姿态增强：检索数据库中的手部姿态以增强运动的自然性。
- 碰撞修正：自动检测并修正人物之间的碰撞。
- 3D 重定向：将生成的运动映射到现有的 3D 数字人物模型，提升视觉效果。
Sitcom-Crafter 的技术原理
- 运动生成模块：
- 人类行走生成：基于 GAMMA 等方法，通过深度学习模型生成行走运动。
- 人与场景交互生成：结合 DIMOS 方法，利用场景信息生成交互动作。
- 人与人交互生成：使用自监督场景感知方法，通过 SDF 点模拟周围环境，避免碰撞并生成多人交互动作。
- 场景感知技术：
- SDF 点合成：随机生成周围物体的 SDF 点，模拟障碍物。
- 碰撞检测与修正：通过 SDF 点调整运动轨迹或速度，避免碰撞。
- 剧情理解与命令生成：使用大型语言模型（如 Gemini 1.5）解析剧情文本，转化为具体运动指令。
- 增强模块：
- 运动同步：通过插值技术确保不同模块生成的运动平滑过渡。
- 手部姿态检索：利用 CLIP 模型检索最相似的手部姿态。
- 碰撞修正：调整运动速度或路径，避免人物之间的碰撞。
- 3D 重定向：将生成的运动映射到高质量的 3D 数字人物模型。
如何运行 Sitcom-Crafter
1. 环境配置
Sitcom-Crafter 需要以下硬件和软件环境：
- 硬件要求：
- GPU：建议使用多块 GPU 进行训练；单块 GPU 至少需要 12GB 显存。
- 软件要求：
- Python：3.10 或更高版本。
- CUDA：11.8 或更高版本。
- cuDNN：8.4.1 或更高版本。
安装依赖项：
pip install -r requirements.txt
注意：部分依赖包（如 pointnet2_ops 和 pytorch3d）可能需要手动编译，请参考官方文档完成安装。
2. 数据准备
InterHuman 数据集
下载 InterHuman 数据集并将其转换为标记点格式：
cd HHInter
python rearrange_dataset.py
Inter-X 数据集
下载 Inter-X 数据集并进行类似处理：
cd HHInter
python rearrange_dataset_interX.py
3. 运行示例
执行以下命令以生成基于剧情驱动的动作序列：
cd HSInter
python synthesize/demo_hsi_auto.py
需确保已正确配置预训练模型路径，并根据需求修改 save_path_name 参数。
资源
- 项目官网：https://windvchen.github.io/Sitcom-Crafter/
- GitHub 仓库：https://github.com/WindVChen/Sitcom-Crafter
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
