阿里云张新涛:支持沉浸式体验应用快速落地,阿里云云XR平台发布

本文涉及的产品
轻量应用服务器 2vCPU 1GiB,适用于搭建电商独立站
轻量应用服务器 2vCPU 4GiB,适用于网站搭建
轻量应用服务器 2vCPU 4GiB,适用于搭建Web应用/小程序
简介: 面向企业级 3D 应用托管与发布的实时渲染平台

2022年7月20日14:00,阿里云联合平行云推出的云XR平台新品发布会正式启动,阿里云弹性计算产品专家张新涛带来了题为《支持沉浸式体验应用快速落地,阿里云云XR平台发布》的分享。


阿里云XR平台提供算力调度、3D实时渲染、音视频编码与推流、应用发布与用户管理等服务。开发者可将应用发布托管到云XR平台,用户可以使用AR/VR/MR等多终端加入到云XR平台与3D应用交互并体验。以下是他的演讲内容整理,供大家阅览:


01 从单项交互到全要素交互演进


如今,沉浸式体验是一个异常火爆的词,而提到沉浸式体验就不得不提到全要素交互。

图片1.png


人类媒体的发展趋势是从抽象到具体,逐步还原真实的世界。那么,全要素交互如何实现?目前来看,可以通过沉浸感叠加实时交互。人类天生乐于社交,并且充满好奇心,这也是发展的动力。


人类的幼儿认知世界的方式是触碰,这也是一种更高效的认知方式。依据人类的认知模型,更加接近真实的模拟实践是仅次于费曼学习法的学习方法。学习效率的提高无疑也能提高生产效率,这也是阿里云出品云XR平台的初衷,希望帮助全社会、全行业提升创造力和生产力。


02 云计算视角下的沉浸式体验及商业技术挑战


下图中七层模型非常系统地将整个业务分为体验、发现、创作者经济、空间计算、分布式、人机接口、基础设施7层。

图片2.png


左侧的七层模型映射到右侧云计算常见的应用领域后,对云计算产生了新的需求,而这些新的需求依然围绕着用户体验展开。简单总结来说,Metaverse全要素的沟通方式带来了前所未有的影响,对云计算来说也带来前所未有的挑战。

图片3.jpg


沉浸式带来的挑战主要来自于计算、通信以及商业模式


Metaverse带来的交互方式让计算变得更复杂。以PC 到手机的发展过程为例,最早期与 PC 的交互方式只能通过显示器和键盘鼠标,后来出现了网络摄像头,但交互依然十分简单,导致 PC 上的应用也十分简单,数据量少,计算量也很少。最终使得很多业务使用本地计算能力即可胜任,比如处理文档等简单计算。


手机端的出现带来了巨大变化,交互设备变得更多,除了多点触控的显示屏、不同分辨率的摄像头,还包含各种传感器,比如加速度传感器、温湿度传感器、红外传感器、距离传感器等,这些传感器带来了更多信息,也使得手机上的应用变得丰富多彩。随着需要处理的计算越来越多,手机应用的部分计算转移到了云上,也引入了GPU 这样的加速器。比如在 AI和游戏计算场景,会调用云上的计算能力来帮助获得更好的用户体验。


发展到 XR 体验后,计算场景愈发丰富,比如有手势识别、终端设备的语音识别等,而这些新的交互方式需要耗费更大的计算能力

image.gif图片4.png


整个产业面对新的交互方式升级的时候,需要升级的不仅是技术,商业方式也需要有十倍的升级,主要来自于对计算、通信和商业生态的要求。


沉浸式体验对计算的挑战来自几个方面。此前的计算更多是 CPU 上的计算,而沉浸式体验下的计算更多是对 3D 模型的实时渲染、对 AI 场景的计算以及对流媒体的编码和解码,这些都需要非常密集的计算能力。互联网的用户群体也随之成倍增加,需要更多计算资源来处理业务,需要巨大的规模。


通信上,需要更低延迟的通信做实时交互、大规模的 AI 模型训练,也需要更大带宽的通信来做更高分辨率视频的传输。


此外,生态的开放程度也需要进一步提升。相对于其他产业,沉浸式体验产业涉及的上下游涉企业更加丰富、多样,技术栈也非常复杂,所以需要更加开放的生态来,各个行业互相协作。不仅要让所有厂商保持一种开放的态度,更需要帮助大家建设统一标准、统一协作规范,一起将产业做大。

图片5.jpg


阿里云将过去 10 年解决的技术问题沉淀在神龙架构上。2017 年我们引入了神龙架构,不断降低 IO 延迟,提高 IO 带宽和吞吐能力。2021年云栖大会期间发布的第四代神龙已经可以将网络转发的时延降低至 15 us。


除了提升通信能力,我们还在不断提升计算能力。过去的数年间,阿里云 GPU 实例的计算能力提升了 100 倍。2021年发布了7代 GPU 实例,在 AI 计算、 AI 推理以及沉浸式体验图形计算场景下有了巨大的计算能力升级。


此外,我们也在不断地扩大计算规模,到目前为止,计算能力已经超过了 1700p 。


相比于技术建设,生态建设更为重要。


03 提升效率与生态能力的产品能力建设


要繁荣行业,最关键的是梳理生产关系。我们希望与合作伙伴以及客户一起共建产品体系,将这套生态体系做得更加完美。

图片6.png


异构计算方式一直是公认比较难以使用的,为此我们联合研发团队,在几个主要的应用场景里做了许多优化。在图形计算场景、AI 计算场景以及流媒体计算场景封装了诸多非常高效且好用的工具,帮助用户提升效率,提升产品的经济性和易用性。


在此基础上,我们还构建了视觉计算体系,希望将整个产业所有应用场景的需求都放至云上进行推广。


04 云XR平台重磅发布


图片7.jpg


云 XR 平台是阿里云与平行云合作,共同打造面向企业级 3D 应用托管与发布的实时渲染平台。除了支持平面设备,还可支持VR、AR、MR等3D终端设备,帮助用户获得更好的用户体验,用户可以将自己的 3D 应用部署在云 XR 平台上进行发布。

图片8.png


目前,平台的能力已经在不同行业得到了验证。


公共云上的云 XR 平台相比于私有部署具备更大的优势。


05 了解云XR平台


目前支持云 XR 平台支持基于T4, A10 和 RTX 6000 的 GPU 实例,包含英伟达vDWS 的license,使用十分简便。

图片9.png


T4, A10 和 RTX 6000都包含RT core和tensor core等关键特征,也包含了硬编码 codec单元等,可以帮助获得更低延迟的串流。同时,A10 和 RTX 6000搭载于神龙计算架构,能够获得更低延迟的 IO 。

图片10.png


云XR平台支持 Windows server 2016 和Windows server 2019,支持大部分主流的3D引擎,大部分终端都可以通过 SDK 或 app的方式接入,XR终端支持包括Quest2、HTC VIVE、Pico Neo3、Nolo等。平面可以通过终端 App 、SDK 、网页或小程序直接访问。

图片11.png


无论 3D 应用最终以 VR 的形式呈现还是以平面设备的方式呈现,将业务部署到云上的流程都是类似的。以VR为例,通过设计和建模阶段将设计好的模型导入到 3D 实时引擎里进行编辑和开发。开发完成的应用需要支持 Steam VR 和 open XR 。完成支持之后,将应用进行封装并做适配,即可在云 XR 平台上进行发布。


平面 3D 应用的部署流程类似,区别在于不需要支持 Steam VR 和 Open XR 。

图片12.png


云XR的场景应用场景主要分布在两个方面,分别是消费端业务和企业端业务。消费端业务致力于给终端用户带来更多乐趣,企业端业务致力于帮助企业带来更高的效率和创造力。


消费端的常见业务有 VR游戏、电竞,线上交互演唱会、虚拟人直播,电商场景下的 3D 产品展示;企业端的业务场景包括科研和教学领域、基于Metaverse的展会/博物馆、3D 会议、制造业或工业中应用的虚拟仿真、通过数字孪生助力企业培训以提高效率以及服务型数字人等。


无论是企业侧业务还是消费端业务,通过云 XR 平台都可以轻松地将这些应用部署到全世界各个角落,服务世界各地的用户。

图片13.png


云XR平台的典型用户包括彼真科技、拜科生物以及工程热物理研究所等。


「彼真科技」是一家领先的专注于在线演唱会的技术公司,过去半年多时间已经在阿里云举办多次线上演唱会,最近一次演出,同时在线人数超过30万,报名人数超过百万。


「拜科生物」是目前世界上最优秀的医学数字人技术企业,他们有着世界上最先进的生物体3D重建技术,目前已经将医学数字人进行封装后用于临床学习研究,并在云 XR 平台上发布。


清华大学的热工所通过云XR平台实现了很多大型装备的仿真模拟,后续也会通过云的方式将这些能力对外开放,为科研提供便利,以上就是我今天的分享。


拓展延伸

云XR平台落地的过程中,阿里云主要提供超强云端算力,及自研流媒体编码技术,平台层则由平行云对渲染、编码与推流等服务进行高效封装,集成了阿里云底层IaaS能力,支持NVIDIA CloudXR平台。


点击这里,观看本次发布会精彩回放。


相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
传感器 物联网 5G
物联网(AIOT)--下一个技术风口
我们现在身边越来越多的硬件设备正在被嵌入芯片、软件,从而实现更多的功能和更紧密的联系。 物联网其实是借助互联网的力量,实现万物互联。
391 0
|
10月前
|
存储 机器学习/深度学习 传感器
商业日志分析工具
【10月更文挑战第20天】
226 5
|
8月前
|
Cloud Native 云栖大会 调度
平行云荣膺"阿里云产品生态伙伴合作攻坚奖""2022云栖科技创新奖"
2022云栖大会在杭州成功举办,平行云作为阿里云重要合作伙伴受邀参会,并凭借“元域电音Club”精彩亮相。会上,平行云荣获“阿里云产品生态伙伴合作攻坚奖”和“2022云栖科技创新奖”两项大奖,彰显其在云化XR领域的卓越贡献与创新实力。平行云为阿里云XR平台提供算力调度、3D实时渲染等服务,助力元宇宙产业云化转型,推动多行业创新业务形态发展。
258 15
|
8月前
|
资源调度 双11 UED
平行云助力“天猫X网易云音乐”两大IP,打造爆款元宇宙云派对
2022年,天猫与网易云音乐联手打造了一场元宇宙“云派对”,通过3D互联网技术,以游戏+演唱会的形式吸引上万名用户参与。平行云LarkXR提供实时云渲染技术支持,解决高并发和互动数据沉淀难题,实现万人同频互动,带来沉浸式购物、游戏、音乐体验,助力品牌长效增长。
187 11
|
8月前
|
编解码 定位技术 vr&ar
NETALAND惊艳上线,Paraverse平行云助力元宇宙大玩家网易闪亮登场
网易传媒旗下全新泛娱乐空间NETALAND于2023年5月上线,融合电影级场景与趣味互动,提供沉浸式元宇宙体验。通过与平行云合作,NETALAND实现了轻量化社交、全地图飞行及丰富的定制化功能,支持用户在五大风格场景中自由探索。LarkXR实时云渲染技术确保了流畅的交互体验,并助力采集宝贵的用户行为数据,推动元宇宙内容创新。
242 14
|
8月前
|
调度 vr&ar 图形学
阿里云联合平行云推出云XR平台,支持沉浸式体验应用快速落地
2022年6月,阿里云与平行云联合发布云XR平台,降低云端视觉计算应用开发门槛,加速数字孪生、虚拟人、虚拟现实等XR应用落地。该平台由阿里云提供算力调度服务,平行云全面集成3D实时渲染、音视频编码与推流等服务,支持多终端接入,助力互联网、新零售、社交等行业创新业务形态。开发者可通过SDK轻松接入,实现3D应用快速云化部署,终端用户可享受低延时、高性能的沉浸式体验。
|
机器学习/深度学习 SQL 存储
机器学习PAI常见问题之资源不足如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
网络协议 安全 网络性能优化
|
存储 机器学习/深度学习 搜索推荐
Elasticsearch 8.X 向量检索和普通检索能否实现组合检索?如何实现?
Elasticsearch 8.X 向量检索和普通检索能否实现组合检索?如何实现?
基于目标级联法的微网群多主体分布式优化调度(已更新)
基于目标级联法的微网群多主体分布式优化调度(已更新)

热门文章

最新文章