LHM:单图生成3D动画人!阿里开源建模核弹,高斯点云重构服装纹理

本文涉及的产品
视觉智能开放平台,视频通用资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像通用资源包5000点
简介: 阿里巴巴通义实验室开源的LHM模型,能够从单张图像快速重建高质量可动画化的3D人体模型,支持实时渲染和姿态控制,适用于AR/VR、游戏开发等多种场景。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🤖 「别让3D建模累秃头!阿里黑科技让照片秒变数字人」

大家好,我是蚝油菜花。你是否也经历过这些三维地狱模式——

  • 👉 为做角色模型,拍200张照片还得配万元级动捕设备
  • 👉 外包建个人体3D,等两周拿到文件发现纽扣变马赛克
  • 👉 想搞AR试衣间,光模型调整就耗掉整个Q3预算...

今天要颠覆三维赛道的 LHM ,正在重写数字人制作规则!这个通义实验室的王炸:

  • ✅ 「单图闪电建模」:5秒吃透照片,高斯点云精准雕刻发丝褶皱
  • ✅ 可动基因植入:SMPL-X骨架自动绑定,摆pose比真人还灵活
  • ✅ 像素级复刻术:保留99.7%服装纹理,连JK制服格纹都不放过

已有游戏公司用它批量生成NPC,直播团队靠它打造24小时虚拟主播——你的3D工作流,是时候开启「光速建模」时代了!

🚀 快速阅读

LHM是阿里巴巴推出的单图生成可动画3D人体模型的开源解决方案。

  1. 核心功能:支持从单张图像快速重建高保真3D人体模型,并实现实时姿态控制动画
  2. 技术原理:采用多模态Transformer架构和3D高斯点云表示,结合自监督学习优化模型

LHM 是什么

LHM

LHM(Large Animatable Human Reconstruction Model)是阿里巴巴通义实验室推出的从单张图像重建可动画化3D人体模型的开源项目。基于多模态Transformer架构,该模型能融合3D几何特征和2D图像特征,用注意力机制保留服装几何与纹理细节。

模型采用3D高斯点云(Gaussian Splatting)形式表示重建的3D模型,支持实时渲染和姿态控制动画。从输入单张图像到生成可动画模型仅需几秒钟,显著降低了3D内容创作门槛。

LHM 的主要功能

  • 快速重建:在几秒钟内完成从单张图像到3D可动画化模型的转换,无需复杂的后处理
  • 高保真细节:精确保留服装纹理、面部细节等关键信息,生成高质量的3D模型
  • 实时动画:支持基于姿态控制的实时动画渲染,适用于沉浸式应用(如AR/VR)
  • 泛化能力强:在开放环境(in-the-wild images)上表现出色,适应多种场景和姿态

LHM 的技术原理

  • 多模态Transformer架构:融合3D几何特征和2D图像特征,有效处理几何和视觉信息
  • 3D高斯点云表示:基于3D高斯点云实现实时、高质量的渲染
  • 自监督学习:基于大规模视频数据训练,无需依赖稀缺的3D扫描数据
  • 实时动画支持:基于SMPL-X骨架参数实现姿态控制动画

如何运行 LHM

环境配置

克隆仓库并创建虚拟环境:

git clone git@github.com:aigc3d/LHM.git
cd LHM
python -m venv lhm_env
lhm_env\Scripts\activate

Windows安装

运行安装脚本:

install_cu121.bat
python ./app.py

模型下载

wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/for_lingteng/LHM/LHM-0.5B.tar
tar -xvf LHM-0.5B.tar

本地运行

python ./app.py

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关文章
|
20天前
|
机器学习/深度学习 人工智能
ObjectMover:港大联合Adobe打造图像编辑黑科技,移动物体光影自动匹配
香港大学与Adobe联合研发的ObjectMover模型,通过视频生成先验迁移技术,实现图像中物体的自然移动、删除和插入,自动保持光影一致性。
61 21
|
25天前
|
人工智能 自然语言处理 计算机视觉
StarVector:图像秒变矢量代码!开源多模态模型让SVG生成告别手绘
StarVector是由ServiceNow Research等机构联合开发的开源多模态视觉语言模型,能够将图像和文本转换为可编辑的SVG矢量图形,支持1B和8B两种规模,在SVG生成任务中表现出色。
121 0
StarVector:图像秒变矢量代码!开源多模态模型让SVG生成告别手绘
|
4月前
|
人工智能
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型,能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略,实现了色彩和风格的准确传递,适用于动画制作、游戏开发和数字艺术创作等多个领域。
214 16
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
|
9月前
看张手绘草图就能合成图形程序,加州伯克利让扩散模型掌握新技能
【7月更文挑战第12天】加州伯克利研究团队利用神经扩散模型创新程序合成,通过在语法树上反向消除“噪声”实现迭代编辑,改善了传统LLMs自回归生成的局限性。这种方法能看手绘草图生成图形程序,结合搜索进行调试,适用于逆图形任务,性能优越,但目前仅支持有限的程序结构。[[arxiv:2405.20519](https://arxiv.org/pdf/2405.20519)]
63 2
|
10月前
|
数据采集 算法 安全
CVPR 2024:给NeRF开透视眼!稀疏视角下用X光进行三维重建,9类算法工具包全开源
【6月更文挑战第28天】CVPR 2024亮点:SAX-NeRF框架开源!融合X光与NeRF,提升3D重建效果。X3D数据集验证,Lineformer+MLG策略揭示物体内部结构,增强几何理解。虽有计算成本及泛化挑战,但为计算机视觉和医学影像开辟新路径。[论文链接](https://arxiv.org/abs/2311.10959)**
352 5
|
11月前
|
机器学习/深度学习 人工智能 达摩院
DDColor:AI图像着色工具,优秀的黑白图像上色模型,支持双解码器!
DDColor:AI图像着色工具,优秀的黑白图像上色模型,支持双解码器!
532 3
|
11月前
|
机器学习/深度学习 人工智能 PyTorch
极智AI | GAN应用于玻璃表面水珠样本生成
大家好,我是极智视界,本文介绍一下 GAN 应用于玻璃表面水珠样本生成的方法。
117 0
极智AI | GAN应用于玻璃表面水珠样本生成
|
11月前
|
算法 数据挖掘
[Halcon&图像] 阈值分割算法拓展
[Halcon&图像] 阈值分割算法拓展
200 1
|
传感器 Web App开发 机器学习/深度学习
计算机视觉教程0-3:为何拍照会有死亡视角?详解相机矩阵与畸变
计算机视觉教程0-3:为何拍照会有死亡视角?详解相机矩阵与畸变
878 0
计算机视觉教程0-3:为何拍照会有死亡视角?详解相机矩阵与畸变
|
机器学习/深度学习 编解码 vr&ar
一键生成山川、河流,风格多样,从2D图像中学习生成无限3D场景
一键生成山川、河流,风格多样,从2D图像中学习生成无限3D场景
229 0

热门文章

最新文章