AI技术让手办「整活」:3D建模居然可以这样简单

简介: 拍短视频、发朋友圈,整活必备?

科技领域,既有用元宇宙开发布会的公司,也有 All in 元宇宙的公司,很多虚拟世界已经建立起来,人们面临的问题正在变成:真实世界中,人类创造了亿万种物品丰富着我们的生活,那么如何才能快速复制这些物品到全新的元宇宙世界中呢?

3D 内容对于元宇宙至关重要,很多科技公司正在推出用于构建虚拟世界的工具,随着计算机图形技术、元宇宙和 AI 之间的交集越来越多,这些技术也在不断升级。

最近,华为 HMS Core 3D 建模服务发布了人形角色自动建模和骨骼绑定的功能,引起了我们的注意。

看到一个可爱的手办,在想能不能拥有它的 3D 虚拟形象?只用手机围绕手办拍摄一圈,就能构建一个造型精准的 3D 模型并为其自动绑定骨骼。

image.gif

在导入动作数据后,它不仅可以随你走动、向你招手,还可以完成跳舞等复杂动作。

在开放的 Demo App 中,我们只需要用普通手机摄像头围绕目标物体进行一通 360 度拍摄,清晰的 3D 模型即可生成。除了 Q 版的动漫手办以外,毛绒玩具或者机器人等人形角色也可以被扫描成模型并赋予骨骼。

那么它的能力到底如何呢?我们也实际操作了一把,我们用华为的技术给机器之心的毛绒玩偶构建了 3D 模型并绑定好骨骼。

image.gif

只需使用视频中的同款动作数据驱动模型,就可以跳同款舞蹈啦:

网络异常,图片无法展示
|


如果四肢短小的玩偶都可以搞定的话,看起来绝大多数人形角色都是没问题的!

通过 AI 能力用 2D 照片生成 3D 模型,是人工智能学术会议中的一个热门领域,刚刚过去的国际顶会 CVPR 上就有数十篇这个方向的论文。通过对物体的不同角度进行拍摄,将 2D 图像转换为三角网格模型,生成的 3D 模型可供建筑师、设计师、艺术家和游戏开发者导入图形引擎,并可以在此基础上修改比例、更改材料或尝试不同的照明效果。而如今,前沿技术的一部分已经成为了手机上的应用,不禁让人感叹科技发展的速度。

3D 建模,手机也行

快速构建 3D 模型的能力来自华为终端云服务开放能力合集 HMS Core,其拥有 3D 建模、3D 引擎、AR Engine 等多个图形领域的开放服务。其中,3D 建模服务可以给我们带来很多想象空间,可以用在商品展示、教学、虚拟人物,甚至动画制作上。

华为 HMS Core 3D 建模服务,不需要用 TOF、深度摄像头或 LiDAR 激光雷达等特殊硬件,只需要一个普通手机的 RGB 摄像头即可完成建模。 

网络异常,图片无法展示
|

这个过程在使用者看来是「一键生成」的,背后经历的却是一系列复杂的处理过程。

网络异常,图片无法展示
|

高精度的几何重建需要先进行物体分割,将目标物与背景分离,并进行图像匹配、特征提取和深度估计,AI 算法通过分析不同角度的图像来判断位置关系,生成点云构建 3D 模型,再计算出纹理材质对模型表面进行贴图。

在这个过程中,华为利用自研的高低模技术,通过计算剔除冗余的面片,可以用更低的面片数(5 万以下)达成高面片数(10 万及以上)模型的效果,在中低端手机上也能实现精细的视觉效果。

自动生成 3D 虚拟形象的「筋骨」

为了让模型动起来,我们还需要对模型进行「骨骼绑定」:

网络异常,图片无法展示
|

传统流程中,骨骼绑定也需要动画师手工来完成,HMS Core 的能力大幅提升了动画制作的效率:通过自动的骨骼绑定和蒙皮权重估计,HMS Core 可以让你刚刚扫描出来的 3D 模型在导入动作数据后活动起来。

值得一提的是,在这个领域,此前少数实现自动关节估计的方法都需要目标模型摆好标准姿态。华为利用 AI 算法减少了人为规则的需求,可以支持非对称的多种姿态。

面对模型的各种姿态,AI 算法需要大量数据进行训练,但在 3D 模型重建任务上,业内其实并没有这样的数据集。

发GV从

网络异常,图片无法展示
|

对此,华为自研了一套 3D 人形角色自动生成框架,可以基于千百个模型数据,生成数十万甚至是上百万的角色模型和骨骼。通过数据增强,HMS Core 支持了非对称姿态、不同体型和类别的人形角色的自动骨骼绑定。

投射到现实世界

最后,若想将构建好的 3D 模型呈现在真实的世界中,实现真人与 3D 虚拟物体交互的效果,还需要准确高效的 AR 能力。

华为 HMS Core 的 AR Engine 通过整合算法实现了厘米级的精准定位,开发者可以通过这些能力让虚拟世界与现实世界自然地融合在一起。

网络异常,图片无法展示
|

网络异常,图片无法展示
|

例如,AR Engine 提供了光照估计和环境 Mesh 能力,使得 3D 虚拟形象的影子会随着灯光变化,并可被现实世界中的物体挡住,带来更自然的视觉交互体验。
图形领域能力全面开放,加速元宇宙时代到来

随着业界虚实融合步伐加快,华为 HMS Core 全面开放图形领域的相关能力,助力开发者高效构建虚实融合的数字世界。


网络异常,图片无法展示
|

开发者可以通过直接调用软件接口获得华为图形领域的核心能力,节省大量时间和精力,高效完成应用开发。

相信有了这种能力的加持,或许下一个爆款的 App 已在路上,元宇宙时代也将加速到来。

相关文章
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
探索未来:AI技术的发展与应用
【10月更文挑战第9天】探索未来:AI技术的发展与应用
39 2
|
15天前
|
人工智能 IDE 测试技术
利用AI技术提升编程效率
【10月更文挑战第6天】本文将探讨如何通过人工智能(AI)技术提升编程效率。我们将介绍一些实用的工具和策略,如代码补全、错误检测和自动化测试,以及如何将这些工具整合到你的日常工作流程中。无论你是初学者还是经验丰富的开发者,都可以从这些技巧中受益。让我们一起探索如何利用AI技术来简化编程过程,提高生产力吧!
|
5天前
|
存储 人工智能 自然语言处理
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
|
15天前
|
人工智能 JSON API
利用TTS技术让你的AI Agent发声
【10月更文挑战第5天】
63 4
利用TTS技术让你的AI Agent发声
|
1天前
|
机器学习/深度学习 人工智能 测试技术
探索 AI 驱动的软件开发:未来技术的新趋势
【10月更文挑战第19天】本文探讨了人工智能(AI)在软件开发中的应用现状和技术优势,包括代码生成、缺陷检测、自动化测试和性能优化。AI 可以提高开发效率、减少人为错误、加速创新并持续学习。文章还讨论了实施 AI 驱动开发的挑战和最佳实践,强调了数据管理和技能培训的重要性。
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
智能时代的伦理挑战:AI技术的双刃剑效应
【10月更文挑战第20天】 在21世纪的科技浪潮中,人工智能(AI)如同一颗璀璨新星,引领着人类社会迈向前所未有的智能化时代。然而,正如印度圣雄甘地所言:“你必须成为你希望在世界上看到的改变。” AI技术的发展不仅带来了效率与便利的飞跃,也引发了关于隐私侵犯、就业替代、决策透明度等一系列深刻的伦理问题。本文旨在探讨AI技术作为一把双刃剑,如何在推动社会进步的同时,对我们的生活方式、价值观念乃至法律体系提出挑战,并呼吁我们在享受科技成果的同时,不忘审视其背后的伦理责任,共同塑造一个更加公正、透明的智能未来。
10 2
|
2天前
|
人工智能 Cloud Native Java
云原生技术深度解析:从IO优化到AI处理
【10月更文挑战第24天】在当今数字化时代,云计算已经成为企业IT架构的核心。云原生作为云计算的最新演进形态,旨在通过一系列先进的技术和实践,帮助企业构建高效、弹性、可观测的应用系统。本文将从IO优化、key问题解决、多线程意义以及AI处理等多个维度,深入探讨云原生技术的内涵与外延,并结合Java和AI技术给出相应的示例。
16 1
|
6天前
|
人工智能 自然语言处理 数据挖掘
Claude 3.5:一场AI技术的惊艳飞跃 | AIGC
在这个科技日新月异的时代,人工智能(AI)的进步令人惊叹。博主体验了Claude 3.5 Sonnet的最新功能,对其卓越的性能、强大的内容创作与理解能力、创新的Artifacts功能、视觉理解与文本转录能力、革命性的“computeruse”功能、广泛的应用场景与兼容性以及成本效益和易用性深感震撼。这篇介绍将带你一窥其技术前沿的魅力。【10月更文挑战第12天】
34 1
|
6天前
|
人工智能 关系型数据库 数据中心
2024 OCP全球峰会:阿里云为代表的中国企业,引领全球AI网络合作和技术创新
今年的OCP(Open Compute Project)峰会于2024年10月14日至17日在美国加州圣何塞举行,在这场全球瞩目的盛会上,以阿里云为代表的中国企业,展示了他们在AI网络架构、液冷技术、SRv6和广域网等前沿领域的强大创新能力,持续引领全球合作与技术创新。
|
8天前
|
机器学习/深度学习 人工智能 监控
探索AI技术在医疗健康领域的应用与挑战
【10月更文挑战第13天】 本文探讨了人工智能(AI)在医疗健康领域的多种创新应用,包括疾病诊断、个性化治疗、患者监护和药物研发等方面。同时,文章也分析了当前AI技术在实际应用中面临的挑战,如数据隐私、算法透明度、监管问题等,并提出了一些可能的解决思路。通过综合分析,本文旨在为读者提供一个关于AI在医疗领域应用现状及未来的全面视角。
35 3

热门文章

最新文章