❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 技术背景：ClotheDreamer是由多所高校和腾讯优图实验室联合推出的3D服装生成技术。
- 主要功能：支持文本驱动的3D服装生成、高保真渲染、可穿戴性、物理精确动画等。
- 技术原理：基于Disentangled Clothe Gaussian Splatting (DCGS)和双向Score Distillation Sampling (SDS)等技术。
正文
ClotheDreamer 是什么
ClotheDreamer是由上海大学、上海交通大学、复旦大学和腾讯优图实验室共同推出的3D服装生成技术。该技术能够根据文本描述生成高保真、可穿戴的3D服装资产。ClotheDreamer基于3D高斯模型，采用Disentangled Clothe Gaussian Splatting (DCGS)技术实现服装与人体的分离优化，并通过双向Score Distillation Sampling (SDS)提升服装渲染质量。此外，ClotheDreamer支持自定义服装模板，生成的服装能够适配不同体型，适用于虚拟试穿和物理精确动画。
ClotheDreamer的核心目标是提供一种高效、灵活的3D服装生成解决方案，帮助设计师、游戏开发者、电影制作人等在虚拟环境中快速生成和迭代3D服装模型，从而提高工作效率和创作自由度。
ClotheDreamer 的主要功能
- 文本驱动的3D服装生成：根据文本描述自动生成相应的3D服装模型。
- 高保真渲染：生成的3D服装具有高度的细节和真实感。
- 可穿戴性：生成的服装模型是可穿戴的，能够用于虚拟试穿。
- 物理精确动画：支持生成的服装进行物理精确的动画效果。
- 自定义模板输入：支持用户上传自定义的服装模板，生成个性化的3D服装。
- 适应不同体型：生成的服装能够适配不同体型的虚拟人物。
ClotheDreamer 的技术原理
- Disentangled Clothe Gaussian Splatting (DCGS)：一种新颖的表示方法，将服装和人体分别表示为高斯模型，支持独立的优化和渲染。
- 双向Score Distillation Sampling (SDS)：利用预训练的2D扩散模型优化3D服装和人体渲染，分别对服装和人体RGBD渲染进行指导，提高生成质量。
- 文本描述解析：使用语言模型（如ChatGPT）解析文本描述，确定服装的类型和特征，为服装模型的初始化提供依据。
- 零样本学习：在没有看到特定类型的服装的情况下，生成相应的3D服装模型。
- 新的修剪策略：针对宽松服装提出的修剪策略，避免在优化过程中错误地移除有用的高斯点，保持服装的完整性。
- 模板引导的服装生成：使用自定义的服装模板网格引导3D服装的生成，提高生成过程的个性化和实用性。
资源
- 项目官网：https://ggxxii.github.io/clothedreamer
- GitHub 仓库：https://github.com/ggxxii/clothedreamer
- arXiv 技术论文：https://arxiv.org/pdf/2406.16815
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
