LHM:单图生成3D动画人!阿里开源建模核弹,高斯点云重构服装纹理

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频通用资源包5000点
视觉智能开放平台,图像通用资源包5000点
简介: 阿里巴巴通义实验室开源的LHM模型,能够从单张图像快速重建高质量可动画化的3D人体模型,支持实时渲染和姿态控制,适用于AR/VR、游戏开发等多种场景。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🤖 「别让3D建模累秃头!阿里黑科技让照片秒变数字人」

大家好,我是蚝油菜花。你是否也经历过这些三维地狱模式——

  • 👉 为做角色模型,拍200张照片还得配万元级动捕设备
  • 👉 外包建个人体3D,等两周拿到文件发现纽扣变马赛克
  • 👉 想搞AR试衣间,光模型调整就耗掉整个Q3预算...

今天要颠覆三维赛道的 LHM ,正在重写数字人制作规则!这个通义实验室的王炸:

  • ✅ 「单图闪电建模」:5秒吃透照片,高斯点云精准雕刻发丝褶皱
  • ✅ 可动基因植入:SMPL-X骨架自动绑定,摆pose比真人还灵活
  • ✅ 像素级复刻术:保留99.7%服装纹理,连JK制服格纹都不放过

已有游戏公司用它批量生成NPC,直播团队靠它打造24小时虚拟主播——你的3D工作流,是时候开启「光速建模」时代了!

🚀 快速阅读

LHM是阿里巴巴推出的单图生成可动画3D人体模型的开源解决方案。

  1. 核心功能:支持从单张图像快速重建高保真3D人体模型,并实现实时姿态控制动画
  2. 技术原理:采用多模态Transformer架构和3D高斯点云表示,结合自监督学习优化模型

LHM 是什么

LHM

LHM(Large Animatable Human Reconstruction Model)是阿里巴巴通义实验室推出的从单张图像重建可动画化3D人体模型的开源项目。基于多模态Transformer架构,该模型能融合3D几何特征和2D图像特征,用注意力机制保留服装几何与纹理细节。

模型采用3D高斯点云(Gaussian Splatting)形式表示重建的3D模型,支持实时渲染和姿态控制动画。从输入单张图像到生成可动画模型仅需几秒钟,显著降低了3D内容创作门槛。

LHM 的主要功能

  • 快速重建:在几秒钟内完成从单张图像到3D可动画化模型的转换,无需复杂的后处理
  • 高保真细节:精确保留服装纹理、面部细节等关键信息,生成高质量的3D模型
  • 实时动画:支持基于姿态控制的实时动画渲染,适用于沉浸式应用(如AR/VR)
  • 泛化能力强:在开放环境(in-the-wild images)上表现出色,适应多种场景和姿态

LHM 的技术原理

  • 多模态Transformer架构:融合3D几何特征和2D图像特征,有效处理几何和视觉信息
  • 3D高斯点云表示:基于3D高斯点云实现实时、高质量的渲染
  • 自监督学习:基于大规模视频数据训练,无需依赖稀缺的3D扫描数据
  • 实时动画支持:基于SMPL-X骨架参数实现姿态控制动画

如何运行 LHM

环境配置

克隆仓库并创建虚拟环境:

git clone git@github.com:aigc3d/LHM.git
cd LHM
python -m venv lhm_env
lhm_env\Scripts\activate

Windows安装

运行安装脚本:

install_cu121.bat
python ./app.py

模型下载

wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/for_lingteng/LHM/LHM-0.5B.tar
tar -xvf LHM-0.5B.tar

本地运行

python ./app.py

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关文章
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
Reve Image:设计师失业警告!AI秒出海报级神图,排版自动搞定
Reve Image 是 Reve 推出的全新 AI 图像生成模型,专注于提升美学表现、精确的提示遵循能力以及出色的排版设计,能生成高质量的视觉作品。
422 29
Reve Image:设计师失业警告!AI秒出海报级神图,排版自动搞定
|
6月前
|
存储 机器学习/深度学习 人工智能
TaoAvatar:手机拍出电影级虚拟人!阿里3D高斯黑科技让动捕设备下岗
阿里巴巴最新推出的TaoAvatar技术,通过3D高斯溅射实现照片级虚拟人实时渲染,支持多信号驱动与90FPS流畅运行,将彻底改变电商直播与远程会议体验。
436 8
TaoAvatar:手机拍出电影级虚拟人!阿里3D高斯黑科技让动捕设备下岗
|
5月前
|
人工智能
Hi3DGen:2D照片秒变高精度模型,毛孔级细节完爆Blender!港中文×字节×清华联手打造3D生成黑科技
Hi3DGen是由香港中文大学、字节跳动和清华大学联合研发的高保真3D几何生成框架,通过法线图中间表示实现细节丰富的3D模型生成,其双阶段生成流程显著提升了几何保真度。
580 32
Hi3DGen:2D照片秒变高精度模型,毛孔级细节完爆Blender!港中文×字节×清华联手打造3D生成黑科技
|
2月前
|
API vr&ar 索引
1张照片 2秒钟 一键变身3D数字人
LHM是一种基于单视角图像的端到端Transformer模型,结合SMPL-X人体模型与高斯渲染技术,可从一张照片生成可驱动的3D数字人。它采用Vision Transformer和Mae模型提取特征,并通过Body-Head Transformer融合2D与3D信息,输出具有动作能力的高精度3D人体模型。应用于动作重现、游戏角色生成及虚拟现实等领域,代码已开源并提供在线体验入口。
253 0
|
6月前
|
人工智能 网络协议 Java
RuoYi AI:1人搞定AI中台!开源全栈式AI开发平台,快速集成大模型+RAG+支付等模块
RuoYi AI 是一个全栈式 AI 开发平台,支持本地 RAG 方案,集成多种大语言模型和多媒体功能,适合企业和个人开发者快速搭建个性化 AI 应用。
1572 77
RuoYi AI:1人搞定AI中台!开源全栈式AI开发平台,快速集成大模型+RAG+支付等模块
|
5月前
|
人工智能 编解码 自然语言处理
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频
DreamActor-M1是字节跳动研发的AI图像动画框架,通过混合引导机制实现高保真人物动画生成,支持多语言语音驱动和形状自适应功能。
594 40
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频
|
6月前
|
人工智能 编解码
ReCamMaster:视频运镜AI革命!单镜头秒变多机位,AI重渲染颠覆创作
ReCamMaster 是由浙江大学与快手科技联合推出的视频重渲染框架,能够根据用户指定的相机轨迹重新生成视频内容,广泛应用于视频创作、后期制作、教育等领域,提升创作自由度和质量。
476 0
|
5月前
|
人工智能 API 计算机视觉
AI-ClothingTryOn:服装店老板连夜下架试衣间!基于Gemini开发的AI试衣应用,一键生成10种穿搭效果
AI-ClothingTryOn是基于Google Gemini技术的虚拟试衣应用,支持人物与服装照片智能合成,可生成多达10种试穿效果版本,并提供自定义提示词优化功能。
432 18
AI-ClothingTryOn:服装店老板连夜下架试衣间!基于Gemini开发的AI试衣应用,一键生成10种穿搭效果
|
6月前
|
人工智能 算法 语音技术
Video-T1:视频生成实时手术刀!清华腾讯「帧树算法」终结闪烁抖动
清华大学与腾讯联合推出的Video-T1技术,通过测试时扩展(TTS)和Tree-of-Frames方法,显著提升视频生成的连贯性与文本匹配度,为影视制作、游戏开发等领域带来突破性解决方案。
186 4
Video-T1:视频生成实时手术刀!清华腾讯「帧树算法」终结闪烁抖动
|
5月前
|
人工智能 测试技术 定位技术
WorldScore:斯坦福开源世界生成模型评估新标杆:3000样本+九维指标,视频/4D/3D模型一网打尽
WorldScore是斯坦福大学提出的首个统一评估世界生成模型的基准测试,通过基于相机轨迹的布局规范和3000个多样化样本,全面评测生成内容的可控性、质量与动态性。
359 46
WorldScore:斯坦福开源世界生成模型评估新标杆:3000样本+九维指标,视频/4D/3D模型一网打尽

热门文章

最新文章