一句话塑造一个3D形象,文本生成3D头部模型魔搭最佳实践

简介: 高保真 3D 人脸重建在许多场景中都有广泛的应用,例如 AR/VR、医疗、电影制作等。尽管大量的工作已经使用 LightStage 等专业硬件实现了出色的重建效果,从单一或稀疏视角的单目图像估计高精细的面部模型仍然是一个具有挑战性的任务。

导读


高保真 3D 人脸重建在许多场景中都有广泛的应用,例如 AR/VR、医疗、电影制作等。尽管大量的工作已经使用 LightStage 等专业硬件实现了出色的重建效果,从单一或稀疏视角的单目图像估计高精细的面部模型仍然是一个具有挑战性的任务。


本文,我们将介绍文本生成3D头部模型,结合了文生图stable diffusion模型和头部重建模型HRN,以文本为输入,可生成高质量3D头部。头部重建模型HRN在单图人脸重建榜单REALY上取得正脸、侧脸双榜第一,并在其他多个数据集中取得了SOTA的效果。


prompt: a girl with freckles and blue eyes.



prompt: a clown with red nose.



该文本生成3D头部模型包含了text-to-image以及head reconstruction两个部分,首先利用sd+controlnet进行文本引导的、姿态可控的人脸图像生成,而后利用HRN算法重建出3D头部,从而实现文生3D头部的功能。


HRN算法简介:

HRN是一种新颖的层次化表征网络,以实现单图的高精细人脸重建。 具体来说,HRN对人脸几何细节进行了解耦并引入了层次表征来实现精细的人脸建模。 同时,结合面部细节的3D先验,提高重建结果的准确性和真实性。HRN还提出了一个de-retouching模块,以实现更好的几何和纹理解耦。 值得注意的是,通过考虑不同视图的细节一致性,HRN框架可以扩展到多视图重建。 在两个单视图和两个多视图人脸重建基准上的大量实验表明,HRN框架方法在重建精度和视觉效果方面优于现有方法。



魔搭社区最佳实践


使用方式


输入文本描述(目前仅支持英文),返回对应符合文本描述的3D模型(.obj文件+纹理贴图)。



模型参数


hair_tex: pipeline参数,可在configuration.json中修改,或者在pipeline初始化中传入,如:


当hair_tex为True时(默认),将输出带头发的纹理,如以上第一个示例。

当hair_tex为False时,将输出光头的纹理,如以上第二个示例.


使用范围


请输入人物描述词,当输入描述词与人无关时,可能会失败。


由于HRN是基于真实人脸的重建模型,所以当目标与真实人头越相近时,效果越好。


目标场景


影视、娱乐等。

最佳实践代码

本模型基于pytorch进行训练和推理,在ModelScope框架上,提供输入描述词,即可以通过简单的Pipeline调用来使用text-to-head模型。

import os
import cv2
from modelscope.models.cv.face_reconstruction.utils import write_obj
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
def save_results(result, save_root):
    os.makedirs(save_root, exist_ok=True)
    # export obj and texture
    mesh = result[OutputKeys.OUTPUT]['mesh']
    texture_map = result[OutputKeys.OUTPUT_IMG]
    mesh['texture_map'] = texture_map
    write_obj(os.path.join(save_root, 'text_to_head_result.obj'), mesh)
    print(f'Output written to {os.path.abspath(save_root)}')
text_to_head = pipeline(Tasks.text_to_head, model='damo/cv_HRN_text-to-head', model_revision='v0.2')
result = text_to_head('a clown with red nose')
save_results(result, './text_to_head_results')

预处理


对输入的prompt进行优化,加入后缀描述词,反向描述词等。



后处理


将顶点坐标、三角面片、贴图等数据转化为obj等模型文件。



欢迎开发者们来魔搭社区体验!


点击直达示例开源模型链接

https://www.modelscope.cn/models/damo/cv_HRN_text-to-head/summary



相关文章
|
算法 Python
LightGBM高级教程:自动调参与超参数优化
LightGBM高级教程:自动调参与超参数优化【2月更文挑战第5天】
2382 2
|
8月前
|
传感器 存储 机器学习/深度学习
Agent架构综述:从Prompt到Context
本文剖析Agent技术从Prompt驱动到Context核心的演进本质:Prompt是静态任务入口,Context则是动态智能基座。文章系统梳理三阶段架构升级(V1.0至V3.0),解析五大核心层级与四大关键技术支柱,并指出轻量化、跨Agent协同、端到端驱动等未来方向。
883 2
|
10月前
|
前端开发 算法
深度研究Agent架构解析:4种Agent架构介绍及实用Prompt模板
本文系统梳理了深度搜索Agent的主流架构演进:从基础的Planner-Only,到引入评估反馈的双模块设计,再到支持层次化分解的递归式ROMA方案。重点解析了问题拆解与终止判断两大核心挑战,并提供了实用的Prompt模板与优化策略,为构建高效搜索Agent提供清晰路径。
2572 10
深度研究Agent架构解析:4种Agent架构介绍及实用Prompt模板
|
8月前
|
人工智能 Shell API
写一个你自己的Agent Skills
Agent Skills 是轻量级开放格式,通过 `SKILL.md` 定义可复用、可版本控制的AI技能模块,支持渐进式上下文加载,让智能体按需扩展能力——一次开发,多端部署,赋能个人、团队与企业高效构建专属AI工作流。(239字)
1730 1
|
机器学习/深度学习 运维 监控
一文速览深度伪造检测(Detection of Deepfakes):未来技术的守门人
一文速览深度伪造检测(Detection of Deepfakes):未来技术的守门人
4144 0
|
小程序 前端开发 Java
社区生鲜团购小程序
社区生鲜团购小程序
1498 0
|
弹性计算 小程序 关系型数据库
24.8|超值超省,开发者轻创业算力补贴申请教程
阿里云推出一系列优惠活动,助力企业和开发者高效上云。核心优惠包括:“99计划”提供超低价服务器资源,老用户也可享受;5亿算力补贴与满减优惠降低上云成本;免费试用覆盖多种产品;创业者计划提供高额抵扣金;多款产品组合满足不同需求。学生更可专享300元补贴。此外,还介绍了开发者如何利用低成本云资源通过广告变现,包括不同广告计费模式及成功案例分析。这些优惠和服务有助于企业快速成长与数字化转型。
597 2
24.8|超值超省,开发者轻创业算力补贴申请教程
|
机器学习/深度学习 自然语言处理 算法
大模型Prompt-Tuning技术入门(一)
Prompt-Tuning是NLP领域的新兴技术,旨在减少预训练模型Fine-Tuning的需要。它通过构造提示(Prompt)使预训练模型能适应各种任务,降低了语义偏差和过拟合风险。Prompt作为任务的“提示词”,可以是人工定义、自动搜索或生成的模板,与预训练的MLM头结合使用,只需少量甚至无标注数据,通过标签词映射进行预测。此方法从GPT-3的In-Context Learning发展至今,包括了连续Prompt、大规模模型的Instruction-tuning和Chain-of-Thought等进展。 Prompt-Tuning是向少监督、无监督学习迈进的关键研究。
GDAL使用PROJ坐标转换相关问题的总结
GDAL使用PROJ坐标转换相关问题的总结
835 0

热门文章

最新文章