LHM:单图生成3D动画人!阿里开源建模核弹,高斯点云重构服装纹理

简介: 阿里巴巴通义实验室开源的LHM模型,能够从单张图像快速重建高质量可动画化的3D人体模型,支持实时渲染和姿态控制,适用于AR/VR、游戏开发等多种场景。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🤖 「别让3D建模累秃头!阿里黑科技让照片秒变数字人」

大家好,我是蚝油菜花。你是否也经历过这些三维地狱模式——

  • 👉 为做角色模型,拍200张照片还得配万元级动捕设备
  • 👉 外包建个人体3D,等两周拿到文件发现纽扣变马赛克
  • 👉 想搞AR试衣间,光模型调整就耗掉整个Q3预算...

今天要颠覆三维赛道的 LHM ,正在重写数字人制作规则!这个通义实验室的王炸:

  • ✅ 「单图闪电建模」:5秒吃透照片,高斯点云精准雕刻发丝褶皱
  • ✅ 可动基因植入:SMPL-X骨架自动绑定,摆pose比真人还灵活
  • ✅ 像素级复刻术:保留99.7%服装纹理,连JK制服格纹都不放过

已有游戏公司用它批量生成NPC,直播团队靠它打造24小时虚拟主播——你的3D工作流,是时候开启「光速建模」时代了!

🚀 快速阅读

LHM是阿里巴巴推出的单图生成可动画3D人体模型的开源解决方案。

  1. 核心功能:支持从单张图像快速重建高保真3D人体模型,并实现实时姿态控制动画
  2. 技术原理:采用多模态Transformer架构和3D高斯点云表示,结合自监督学习优化模型

LHM 是什么

LHM

LHM(Large Animatable Human Reconstruction Model)是阿里巴巴通义实验室推出的从单张图像重建可动画化3D人体模型的开源项目。基于多模态Transformer架构,该模型能融合3D几何特征和2D图像特征,用注意力机制保留服装几何与纹理细节。

模型采用3D高斯点云(Gaussian Splatting)形式表示重建的3D模型,支持实时渲染和姿态控制动画。从输入单张图像到生成可动画模型仅需几秒钟,显著降低了3D内容创作门槛。

LHM 的主要功能

  • 快速重建:在几秒钟内完成从单张图像到3D可动画化模型的转换,无需复杂的后处理
  • 高保真细节:精确保留服装纹理、面部细节等关键信息,生成高质量的3D模型
  • 实时动画:支持基于姿态控制的实时动画渲染,适用于沉浸式应用(如AR/VR)
  • 泛化能力强:在开放环境(in-the-wild images)上表现出色,适应多种场景和姿态

LHM 的技术原理

  • 多模态Transformer架构:融合3D几何特征和2D图像特征,有效处理几何和视觉信息
  • 3D高斯点云表示:基于3D高斯点云实现实时、高质量的渲染
  • 自监督学习:基于大规模视频数据训练,无需依赖稀缺的3D扫描数据
  • 实时动画支持:基于SMPL-X骨架参数实现姿态控制动画

如何运行 LHM

环境配置

克隆仓库并创建虚拟环境:

git clone git@github.com:aigc3d/LHM.git
cd LHM
python -m venv lhm_env
lhm_env\Scripts\activate

Windows安装

运行安装脚本:

install_cu121.bat
python ./app.py

模型下载

wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/for_lingteng/LHM/LHM-0.5B.tar
tar -xvf LHM-0.5B.tar

本地运行

python ./app.py

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关文章
|
机器学习/深度学习 人工智能 算法
【视觉智能产品速递——人物动漫化能力上新】
VIAPI—人物动漫化!新增风格版本发布。 产品功能:人物动漫化——输入一张人物图像,生成其二次元卡通形象,返回卡通化后的结果图像。 🔥🔥🔥 本次更新风格:国风工笔画、港漫风
1887 4
【视觉智能产品速递——人物动漫化能力上新】
|
JavaScript
Bert-vits2-v2.2新版本本地训练推理整合包(原神八重神子英文模型miko)
近日,Bert-vits2-v2.2如约更新,该新版本v2.2主要把Emotion 模型换用CLAP多模态模型,推理支持输入text prompt提示词和audio prompt提示语音来进行引导风格化合成,让推理音色更具情感特色,并且推出了新的预处理webuI,操作上更加亲民和接地气。
Bert-vits2-v2.2新版本本地训练推理整合包(原神八重神子英文模型miko)
|
9月前
|
API vr&ar 索引
1张照片 2秒钟 一键变身3D数字人
LHM是一种基于单视角图像的端到端Transformer模型,结合SMPL-X人体模型与高斯渲染技术,可从一张照片生成可驱动的3D数字人。它采用Vision Transformer和Mae模型提取特征,并通过Body-Head Transformer融合2D与3D信息,输出具有动作能力的高精度3D人体模型。应用于动作重现、游戏角色生成及虚拟现实等领域,代码已开源并提供在线体验入口。
1185 1
|
8月前
|
机器人 图形学 开发者
腾讯混元最新开源:一张图,秒变游戏大片
有没有想过,随手拍的一张风景照,下一秒就能变成可操控的游戏开放世界?
636 3
|
Web App开发 人工智能 Android开发
5.3K star!硅基生命新纪元,这个开源数字人框架要火!
"只需3分钟视频素材,就能打造专属数字分身!" "开源免费商用,支持安卓/iOS/Web全平台运行" "法律咨询、虚拟陪伴、教育导师...解锁AI数字人无限可能"
1259 5
|
8月前
|
数据可视化
和平精英脚本,王者荣耀脚本,autojs最新开源代码
采用模块化设计,包含通用功能、和平精英和王者荣耀三大 实现贝塞尔曲线滑动模拟真人操作,降低封号风险
|
人工智能
Hi3DGen:2D照片秒变高精度模型,毛孔级细节完爆Blender!港中文×字节×清华联手打造3D生成黑科技
Hi3DGen是由香港中文大学、字节跳动和清华大学联合研发的高保真3D几何生成框架,通过法线图中间表示实现细节丰富的3D模型生成,其双阶段生成流程显著提升了几何保真度。
1331 32
Hi3DGen:2D照片秒变高精度模型,毛孔级细节完爆Blender!港中文×字节×清华联手打造3D生成黑科技
|
机器学习/深度学习 人工智能 自然语言处理
Reve Image:设计师失业警告!AI秒出海报级神图,排版自动搞定
Reve Image 是 Reve 推出的全新 AI 图像生成模型,专注于提升美学表现、精确的提示遵循能力以及出色的排版设计,能生成高质量的视觉作品。
727 29
Reve Image:设计师失业警告!AI秒出海报级神图,排版自动搞定
|
人工智能 API 计算机视觉
AI-ClothingTryOn:服装店老板连夜下架试衣间!基于Gemini开发的AI试衣应用,一键生成10种穿搭效果
AI-ClothingTryOn是基于Google Gemini技术的虚拟试衣应用,支持人物与服装照片智能合成,可生成多达10种试穿效果版本,并提供自定义提示词优化功能。
1028 18
AI-ClothingTryOn:服装店老板连夜下架试衣间!基于Gemini开发的AI试衣应用,一键生成10种穿搭效果
|
人工智能 并行计算 PyTorch
TripoSR:开源3D生成闪电战!单图0.5秒建模,Stability AI颠覆设计流程
TripoSR是由Stability AI和VAST联合推出的开源3D生成模型,能在0.5秒内从单张2D图像快速生成高质量3D模型,支持游戏开发、影视制作等多领域应用。
899 13
TripoSR:开源3D生成闪电战!单图0.5秒建模,Stability AI颠覆设计流程

热门文章

最新文章