❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 功能：从单张图片生成高保真度的3D人体模型。
2. 技术：基于几何初始化、雕刻流程和多空间纹理细化技术。
3. 应用：适用于虚拟试衣、游戏和娱乐、增强现实和虚拟现实等领域。

正文（附运行示例）

GeneMAN 是什么

GeneMAN是由上海AI实验室、北京大学、南洋理工大学和上海交通大学联合推出的3D人体模型创建框架。该框架能够从单张图片中生成高保真度的3D人体模型，不依赖于参数化人体模型，而是通过多源高质量人类数据集训练人类特定的2D和3D先验模型。

GeneMAN基于几何初始化、雕刻流程和多空间纹理细化技术，实现从自然环境数据图像中提取高质量3D人体模型的目标，不论图像中的人体比例、姿势或服装如何变化。

GeneMAN 的主要功能

• 处理多样化的人体比例：无论图片中的人物是全身、半身还是特写，GeneMAN都能重建出相应的3D模型。
• 适应不同的服装和姿势：GeneMAN能处理各种服装和人体姿势，包括自然姿势和常见物品。
• 处理野外图像：GeneMAN特别擅长处理自然环境下的图像，即所谓的“野外数据”，这些图像可能包含多种复杂背景和光照条件。
• 生成高质量的纹理：基于多空间纹理细化流程，GeneMAN能生成细节丰富、与输入图像一致的3D人体纹理。

GeneMAN 的技术原理

• 2D和3D人类先验模型训练：
  • 文本到图像扩散模型：训练一个人类特定的文本到图像扩散模型，用于生成2D人类先验。
  • 视图条件扩散模型：训练一个视图条件扩散模型，用于生成3D人类先验。
• 几何初始化与雕刻流程：
  • 无模板几何初始化：使用NeRF（神经辐射场）技术初始化一个无模板的3D几何形状。
  • 结合先验与损失：结合GeneMAN的2D和3D先验及结构化差异损失（SDS损失）引导几何初始化。
  • 参考损失：使用参考损失确保与输入图像的对齐。
  • 高分辨率细化：将NeRF转换为DMTet（深度多面体网格）进行高分辨率的几何细化，由预训练的人类特定的法线和深度适应扩散模型引导。
• 多空间纹理细化流程：
  • 粗纹理生成：使用多视图纹理技术生成粗略的纹理。
  • 潜在空间细化：在潜在空间中迭代细化纹理。
  • 像素空间细化：基于优化UV图在像素空间中获得详细纹理，使用基于2D先验的ControlNet进行优化。

资源

• 项目官网：https://roooooz.github.io/GeneMAN
• GitHub 仓库：https://github.com/roooooz/GeneMAN
• arXiv 技术论文：https://arxiv.org/pdf/2411.18624

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦