❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 技术核心：基于跨尺度多视图扩散模型，仅需一张照片即可生成逼真的3D人像模型。
- 功能亮点：支持面部细节重建、全身姿态生成、背景移除和结构化输出。
- 应用场景：广泛应用于影视制作、游戏开发、虚拟现实和时尚设计等领域。
PSHuman 是什么
PSHuman 是一种先进的单图像3D人像重建技术，基于跨尺度多视图扩散模型，仅需一张照片即可生成高度逼真的3D人像模型。该技术能够同时建模全局形状和局部细节的联合概率分布，避免几何失真，并保持不同视图下身体形状的一致性。
通过显式人体雕刻技术，PSHuman 能够高效恢复逼真的纹理人体网格。在多个数据集上表现出色，具有出色的几何细节、纹理保真度和泛化能力。
PSHuman 的主要功能
- 单图像3D人像重建：仅需一张照片，快速生成详细的3D模型，大幅提高建模效率。
- 多视图扩散技术：从单一视角的照片中生成多个角度的人体图像，确保每个角度都尽可能真实。
- 高保真度面部细节：通过跨尺度扩散方法，兼顾整体身体形状和局部面部特征，避免几何变形。
- 结合SMPL-X人体模型：生成更加自然和真实的人体动作和形态，提升3D模型的逼真度。
- 背景移除：支持使用 Clipdrop 或 rembg 工具移除人像照片的背景，简化后续处理流程。
- 结构化输出：生成的3D模型和渲染视频以结构化文件形式保存，便于查看和分享。
- SMPL-free版本：无需SMPL条件即可进行多视图生成，适用于一般姿态的人像。
PSHuman 的技术原理
- 身体+面部增强和多视角生成：将输入照片和预测的人体骨架模型（SMPL-X）送入多视角图像扩散模型，生成6个不同角度的全身图片及高精度局部面部图片。
- 跨尺度扩散方法：同时建模全局全身形状和局部面部特征的联合概率分布，避免几何变形。
- 基于SMPL-X的显式人物雕刻：通过可微分的渲染技术调整、变形和重新细化SMPL-X模型，生成带真实纹理的3D人物模型。
- 多视图图像融合：使用可微分渲染技术融合多视图颜色图像，减少生成不一致性，实现纹理映射。
- 优化和重建模块：通过优化SMPL-X参数对齐多视图图像，进行几何优化，并使用可微分光栅化技术对网格进行雕刻。
如何运行 PSHuman
1. 环境配置
首先，创建一个 Conda 环境并安装依赖：
conda create -n pshuman python=3.10
conda activate pshuman
# 安装 PyTorch
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121
# 安装 Kaolin
pip install kaolin==0.17.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.1.0_cu121.html
# 安装其他依赖
pip install -r requirements.txt
2. 背景移除
使用 Clipdrop 或 rembg 工具移除人像照片的背景：
python utils/remove_bg.py --path $DATA_PATH$
3. 运行推理
通过以下命令生成3D模型和渲染视频：
CUDA_VISIBLE_DEVICES=$GPU python inference.py --config configs/inference-768-6view.yaml \
pretrained_model_name_or_path='pengHTYX/PSHuman_Unclip_768_6views' \
validation_dataset.crop_size=740 \
with_smpl=false \
validation_dataset.root_dir=$DATA_PATH$ \
seed=600 \
num_views=7 \
save_mode='rgb'
资源
- 项目官网：https://penghtyx.github.io/PSHuman
- GitHub 仓库：https://github.com/pengHTYX/PSHuman
- HuggingFace 仓库：https://huggingface.co/spaces/fffiloni/PSHuman
- arXiv 技术论文：https://arxiv.org/pdf/2409.10141
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
