AI技术让手办「整活」:3D建模居然可以这样简单

简介: AI技术让手办「整活」:3D建模居然可以这样简单

科技领域,既有用元宇宙开发布会的公司,也有 All in 元宇宙的公司,很多虚拟世界已经建立起来,人们面临的问题正在变成:真实世界中,人类创造了亿万种物品丰富着我们的生活,那么如何才能快速复制这些物品到全新的元宇宙世界中呢?

3D 内容对于元宇宙至关重要,很多科技公司正在推出用于构建虚拟世界的工具,随着计算机图形技术、元宇宙和 AI 之间的交集越来越多,这些技术也在不断升级。

最近,华为 HMS Core 3D 建模服务发布了人形角色自动建模和骨骼绑定的功能,引起了我们的注意。

看到一个可爱的手办,在想能不能拥有它的 3D 虚拟形象?只用手机围绕手办拍摄一圈,就能构建一个造型精准的 3D 模型并为其自动绑定骨骼。

在导入动作数据后,它不仅可以随你走动、向你招手,还可以完成跳舞等复杂动作。

在开放的 Demo App 中,我们只需要用普通手机摄像头围绕目标物体进行一通 360 度拍摄,清晰的 3D 模型即可生成。除了 Q 版的动漫手办以外,毛绒玩具或者机器人等人形角色也可以被扫描成模型并赋予骨骼。

那么它的能力到底如何呢?我们也实际操作了一把,我们用华为的技术给机器之心的毛绒玩偶构建了 3D 模型并绑定好骨骼。

只需使用视频中的同款动作数据驱动模型,就可以跳同款舞蹈啦:

如果四肢短小的玩偶都可以搞定的话,看起来绝大多数人形角色都是没问题的!

通过 AI 能力用 2D 照片生成 3D 模型,是人工智能学术会议中的一个热门领域,刚刚过去的国际顶会 CVPR 上就有数十篇这个方向的论文。通过对物体的不同角度进行拍摄,将 2D 图像转换为三角网格模型,生成的 3D 模型可供建筑师、设计师、艺术家和游戏开发者导入图形引擎,并可以在此基础上修改比例、更改材料或尝试不同的照明效果。而如今,前沿技术的一部分已经成为了手机上的应用,不禁让人感叹科技发展的速度。

3D 建模,手机也行

快速构建 3D 模型的能力来自华为终端云服务开放能力合集 HMS Core,其拥有 3D 建模、3D 引擎、AR Engine 等多个图形领域的开放服务。其中,3D 建模服务可以给我们带来很多想象空间,可以用在商品展示、教学、虚拟人物,甚至动画制作上。

华为 HMS Core 3D 建模服务,不需要用 TOF、深度摄像头或 LiDAR 激光雷达等特殊硬件,只需要一个普通手机的 RGB 摄像头即可完成建模。 

这个过程在使用者看来是「一键生成」的,背后经历的却是一系列复杂的处理过程。

高精度的几何重建需要先进行物体分割,将目标物与背景分离,并进行图像匹配、特征提取和深度估计,AI 算法通过分析不同角度的图像来判断位置关系,生成点云构建 3D 模型,再计算出纹理材质对模型表面进行贴图。

在这个过程中,华为利用自研的高低模技术,通过计算剔除冗余的面片,可以用更低的面片数(5 万以下)达成高面片数(10 万及以上)模型的效果,在中低端手机上也能实现精细的视觉效果。

自动生成 3D 虚拟形象的「筋骨」

为了让模型动起来,我们还需要对模型进行「骨骼绑定」:

传统流程中,骨骼绑定也需要动画师手工来完成,HMS Core 的能力大幅提升了动画制作的效率:通过自动的骨骼绑定和蒙皮权重估计,HMS Core 可以让你刚刚扫描出来的 3D 模型在导入动作数据后活动起来。

值得一提的是,在这个领域,此前少数实现自动关节估计的方法都需要目标模型摆好标准姿态。华为利用 AI 算法减少了人为规则的需求,可以支持非对称的多种姿态。

面对模型的各种姿态,AI 算法需要大量数据进行训练,但在 3D 模型重建任务上,业内其实并没有这样的数据集。

对此,华为自研了一套 3D 人形角色自动生成框架,可以基于千百个模型数据,生成数十万甚至是上百万的角色模型和骨骼。通过数据增强,HMS Core 支持了非对称姿态、不同体型和类别的人形角色的自动骨骼绑定。

投射到现实世界

最后,若想将构建好的 3D 模型呈现在真实的世界中,实现真人与 3D 虚拟物体交互的效果,还需要准确高效的 AR 能力。

华为 HMS Core 的 AR Engine 通过整合算法实现了厘米级的精准定位,开发者可以通过这些能力让虚拟世界与现实世界自然地融合在一起。



例如,AR Engine 提供了光照估计和环境 Mesh 能力,使得 3D 虚拟形象的影子会随着灯光变化,并可被现实世界中的物体挡住,带来更自然的视觉交互体验。
图形领域能力全面开放,加速元宇宙时代到来

随着业界虚实融合步伐加快,华为 HMS Core 全面开放图形领域的相关能力,助力开发者高效构建虚实融合的数字世界。 

图片来自 2022 年 7 月 HUAWEI Developer Day(简称 HDD)杭州站主论坛现场

开发者可以通过直接调用软件接口获得华为图形领域的核心能力,节省大量时间和精力,高效完成应用开发。

相信有了这种能力的加持,或许下一个爆款的 App 已在路上,元宇宙时代也将加速到来。

相关文章
|
14天前
|
人工智能 自然语言处理 机器人
文档智能与RAG技术如何提升AI大模型的业务理解能力
随着人工智能的发展,AI大模型在自然语言处理中的应用日益广泛。文档智能和检索增强生成(RAG)技术的兴起,为模型更好地理解和适应特定业务场景提供了新方案。文档智能通过自动化提取和分析非结构化文档中的信息,提高工作效率和准确性。RAG结合检索机制和生成模型,利用外部知识库提高生成内容的相关性和准确性。两者的结合进一步增强了AI大模型的业务理解能力,助力企业数字化转型。
67 3
|
5天前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在医疗领域的应用####
本文探讨了人工智能(AI)技术在医疗领域的创新应用及其带来的革命性变化。通过分析AI在疾病诊断、个性化治疗、药物研发和患者管理等方面的具体案例,展示了AI如何提升医疗服务的效率和准确性。此外,文章还讨论了AI技术面临的挑战与伦理问题,并展望了未来的发展趋势。 ####
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在医疗领域的应用与前景####
本文探讨了人工智能(AI)在医疗领域的多方面应用,包括疾病诊断、个性化治疗、患者管理以及药物研发等。通过对现有技术的梳理和未来趋势的展望,旨在揭示AI如何推动医疗行业的变革,并提升医疗服务的质量和效率。 ####
30 5
|
13天前
|
人工智能 文字识别 运维
AI多模态的5大核心关键技术,让高端制造实现智能化管理
结合大模型应用场景,通过AI技术解析高端制造业的复杂设备与文档数据,自动化地将大型零件、机械图纸、操作手册等文档结构化。核心技术包括版面识别、表格抽取、要素抽取和文档抽取,实现信息的系统化管理和高效查询,大幅提升设备维护和生产管理的效率。
|
18天前
|
人工智能 自然语言处理 算法
企业内训|AI/大模型/智能体的测评/评估技术-某电信运营商互联网研发中心
本课程是TsingtaoAI专为某电信运营商的互联网研发中心的AI算法工程师设计,已于近日在广州对客户团队完成交付。课程聚焦AI算法工程师在AI、大模型和智能体的测评/评估技术中的关键能力建设,深入探讨如何基于当前先进的AI、大模型与智能体技术,构建符合实际场景需求的科学测评体系。课程内容涵盖大模型及智能体的基础理论、测评集构建、评分标准、自动化与人工测评方法,以及特定垂直场景下的测评实战等方面。
74 4
|
17天前
|
机器学习/深度学习 人工智能 算法
基于AI的性能优化技术研究
基于AI的性能优化技术研究
|
22天前
|
机器学习/深度学习 人工智能 算法
AI技术在医疗健康领域的应用与挑战####
本文旨在探讨人工智能(AI)技术在医疗健康领域的创新应用及其面临的主要挑战。通过深入分析AI如何助力疾病诊断、治疗方案优化、患者管理及药物研发,本文揭示了AI技术在提升医疗服务质量、效率和可及性方面的巨大潜力。同时,文章也指出了数据隐私、伦理道德、技术局限性等关键问题,并提出了相应的解决策略和未来发展方向。本文为医疗从业者、研究者及政策制定者提供了对AI医疗技术的全面理解,促进了跨学科合作与创新。 ####
|
20天前
|
人工智能 算法
AI技术在医疗领域的应用及其挑战
【10月更文挑战第31天】本文将探讨AI技术在医疗领域的应用及其面临的挑战。我们将从AI技术的基本概念开始,然后详细介绍其在医疗领域的应用,包括疾病诊断、药物研发、患者护理等方面。最后,我们将讨论AI技术在医疗领域面临的挑战,如数据隐私、算法偏见等问题。
|
20天前
|
存储 人工智能 文字识别
AI与OCR:数字档案馆图像扫描与文字识别技术实现与项目案例
本文介绍了纸质档案数字化的技术流程,包括高精度扫描、图像预处理、自动边界检测与切割、文字与图片分离抽取、档案识别与文本提取,以及识别结果的自动保存。通过去噪、增强对比度、校正倾斜等预处理技术,提高图像质量,确保OCR识别的准确性。平台还支持多字体识别、批量处理和结构化存储,实现了高效、准确的档案数字化。具体应用案例显示,该技术在江西省某地质资料档案馆中显著提升了档案管理的效率和质量。
|
19天前
|
机器学习/深度学习 人工智能 算法
AI技术在医疗领域的应用及其挑战
【10月更文挑战第33天】随着人工智能技术的不断发展,其在医疗领域的应用也越来越广泛。从辅助诊断到治疗方案的制定,AI技术都发挥着重要作用。然而,随之而来的挑战也不容忽视,如数据隐私保护、算法的透明度和可解释性等问题。本文将探讨AI技术在医疗领域的应用及其面临的挑战。
29 0

热门文章

最新文章

下一篇
无影云桌面