GeneMAN:上海AI Lab联合北大等高校推出的3D人体模型创建框架

本文涉及的产品
视觉智能开放平台,图像通用资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频通用资源包5000点
简介: GeneMAN是由上海AI实验室、北京大学、南洋理工大学和上海交通大学联合推出的3D人体模型创建框架。该框架能够从单张图片中生成高保真度的3D人体模型,适用于多种应用场景,如虚拟试衣、游戏和娱乐、增强现实和虚拟现实等。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:从单张图片生成高保真度的3D人体模型。
  2. 技术:基于几何初始化、雕刻流程和多空间纹理细化技术。
  3. 应用:适用于虚拟试衣、游戏和娱乐、增强现实和虚拟现实等领域。

正文(附运行示例)

GeneMAN 是什么

公众号: 蚝油菜花 - GeneMAN

GeneMAN是由上海AI实验室、北京大学、南洋理工大学和上海交通大学联合推出的3D人体模型创建框架。该框架能够从单张图片中生成高保真度的3D人体模型,不依赖于参数化人体模型,而是通过多源高质量人类数据集训练人类特定的2D和3D先验模型。

GeneMAN基于几何初始化、雕刻流程和多空间纹理细化技术,实现从自然环境数据图像中提取高质量3D人体模型的目标,不论图像中的人体比例、姿势或服装如何变化。

GeneMAN 的主要功能

  • 处理多样化的人体比例:无论图片中的人物是全身、半身还是特写,GeneMAN都能重建出相应的3D模型。
  • 适应不同的服装和姿势:GeneMAN能处理各种服装和人体姿势,包括自然姿势和常见物品。
  • 处理野外图像:GeneMAN特别擅长处理自然环境下的图像,即所谓的“野外数据”,这些图像可能包含多种复杂背景和光照条件。
  • 生成高质量的纹理:基于多空间纹理细化流程,GeneMAN能生成细节丰富、与输入图像一致的3D人体纹理。

GeneMAN 的技术原理

  • 2D和3D人类先验模型训练
    • 文本到图像扩散模型:训练一个人类特定的文本到图像扩散模型,用于生成2D人类先验。
    • 视图条件扩散模型:训练一个视图条件扩散模型,用于生成3D人类先验。
  • 几何初始化与雕刻流程
    • 无模板几何初始化:使用NeRF(神经辐射场)技术初始化一个无模板的3D几何形状。
    • 结合先验与损失:结合GeneMAN的2D和3D先验及结构化差异损失(SDS损失)引导几何初始化。
    • 参考损失:使用参考损失确保与输入图像的对齐。
    • 高分辨率细化:将NeRF转换为DMTet(深度多面体网格)进行高分辨率的几何细化,由预训练的人类特定的法线和深度适应扩散模型引导。
  • 多空间纹理细化流程
    • 粗纹理生成:使用多视图纹理技术生成粗略的纹理。
    • 潜在空间细化:在潜在空间中迭代细化纹理。
    • 像素空间细化:基于优化UV图在像素空间中获得详细纹理,使用基于2D先验的ControlNet进行优化。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
4天前
|
SQL 人工智能 数据可视化
高校迎新管理系统:基于 smardaten AI + 无代码开发实践
针对高校迎新痛点,基于smardaten无代码平台构建全流程数字化管理系统,集成信息采集、绿色通道、宿舍管理等七大模块,通过AI生成框架、可视化配置审批流与权限,实现高效、精准、可扩展的迎新服务,大幅提升管理效率与新生体验。
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:IndexTTS2–B站、HuMo、Stand-In视觉生成框架、Youtu-GraphRAG、MobileLLM-R1–Meta、PP-OCRv5
AI Compass前沿速览:IndexTTS2–B站、HuMo、Stand-In视觉生成框架、Youtu-GraphRAG、MobileLLM-R1–Meta、PP-OCRv5
AI Compass前沿速览:IndexTTS2–B站、HuMo、Stand-In视觉生成框架、Youtu-GraphRAG、MobileLLM-R1–Meta、PP-OCRv5
|
10天前
|
人工智能 Java 开发者
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
JManus是阿里开源的Java版OpenManus,基于Spring AI Alibaba框架,助力Java开发者便捷应用AI技术。支持多Agent框架、网页配置、MCP协议及PLAN-ACT模式,可集成多模型,适配阿里云百炼平台与本地ollama。提供Docker与源码部署方式,具备无限上下文处理能力,适用于复杂AI场景。当前仍在完善模型配置等功能,欢迎参与开源共建。
351 1
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
|
17天前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
244 22
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
26天前
|
人工智能 云计算
和五所高校一起,我们共同打造了一门AI课程!丨云工开物
9月1日,阿里云联合多所高校推出的「动手学AI:人工智能通识与实践」课程正式开放。课程涵盖理论与实践,支持多专业定制,助力高校AI人才培养。
|
30天前
|
人工智能 自然语言处理 机器人
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
|
1月前
|
人工智能 弹性计算 大数据
和五所高校一起,我们共同打造了一门 AI 课程!
阿里云、超星尔雅协同北京大学、南京大学、复旦大学、上海交通大学、浙江大学五所高校名师,共同推出的 AI 通识公益系列课程「动手学 AI:人工智能通识与实践」将于 9月 1 日面向全国所有高校、所有专业的师生正式开放。
268 5
|
1月前
|
人工智能 自然语言处理 JavaScript
Github又一AI黑科技项目,打造全栈架构,只需一个统一框架?
Motia 是一款现代化后端框架,融合 API 接口、后台任务、事件系统与 AI Agent,支持 JavaScript、TypeScript、Python 多语言协同开发。它提供可视化 Workbench、自动观测追踪、零配置部署等功能,帮助开发者高效构建事件驱动的工作流,显著降低部署与运维成本,提升 AI 项目落地效率。
202 0
|
1月前
|
人工智能 前端开发 Java
构建能源领域的AI专家:一个多智能体框架的实践与思考
本文介绍了作者团队在能源领域构建多智能体(Multi-Agent)框架的实践经验。面对单智能体处理复杂任务时因“注意力发散”导致的效率低下问题,团队设计了一套集“规划-调度-执行-汇总”于一体的多智能体协作系统。
361 19

热门文章

最新文章