阿里云张新涛:支持沉浸式体验应用快速落地,阿里云云XR平台发布

简介: 面向企业级 3D 应用托管与发布的实时渲染平台

2022年7月20日14:00,阿里云联合平行云推出的云XR平台新品发布会正式启动,阿里云弹性计算产品专家张新涛带来了题为《支持沉浸式体验应用快速落地,阿里云云XR平台发布》的分享。


阿里云XR平台提供算力调度、3D实时渲染、音视频编码与推流、应用发布与用户管理等服务。开发者可将应用发布托管到云XR平台,用户可以使用AR/VR/MR等多终端加入到云XR平台与3D应用交互并体验。以下是他的演讲内容整理,供大家阅览:


01 从单项交互到全要素交互演进


如今,沉浸式体验是一个异常火爆的词,而提到沉浸式体验就不得不提到全要素交互。

图片1.png


人类媒体的发展趋势是从抽象到具体,逐步还原真实的世界。那么,全要素交互如何实现?目前来看,可以通过沉浸感叠加实时交互。人类天生乐于社交,并且充满好奇心,这也是发展的动力。


人类的幼儿认知世界的方式是触碰,这也是一种更高效的认知方式。依据人类的认知模型,更加接近真实的模拟实践是仅次于费曼学习法的学习方法。学习效率的提高无疑也能提高生产效率,这也是阿里云出品云XR平台的初衷,希望帮助全社会、全行业提升创造力和生产力。


02 云计算视角下的沉浸式体验及商业技术挑战


下图中七层模型非常系统地将整个业务分为体验、发现、创作者经济、空间计算、分布式、人机接口、基础设施7层。

图片2.png


左侧的七层模型映射到右侧云计算常见的应用领域后,对云计算产生了新的需求,而这些新的需求依然围绕着用户体验展开。简单总结来说,Metaverse全要素的沟通方式带来了前所未有的影响,对云计算来说也带来前所未有的挑战。

图片3.jpg


沉浸式带来的挑战主要来自于计算、通信以及商业模式


Metaverse带来的交互方式让计算变得更复杂。以PC 到手机的发展过程为例,最早期与 PC 的交互方式只能通过显示器和键盘鼠标,后来出现了网络摄像头,但交互依然十分简单,导致 PC 上的应用也十分简单,数据量少,计算量也很少。最终使得很多业务使用本地计算能力即可胜任,比如处理文档等简单计算。


手机端的出现带来了巨大变化,交互设备变得更多,除了多点触控的显示屏、不同分辨率的摄像头,还包含各种传感器,比如加速度传感器、温湿度传感器、红外传感器、距离传感器等,这些传感器带来了更多信息,也使得手机上的应用变得丰富多彩。随着需要处理的计算越来越多,手机应用的部分计算转移到了云上,也引入了GPU 这样的加速器。比如在 AI和游戏计算场景,会调用云上的计算能力来帮助获得更好的用户体验。


发展到 XR 体验后,计算场景愈发丰富,比如有手势识别、终端设备的语音识别等,而这些新的交互方式需要耗费更大的计算能力

image.gif图片4.png


整个产业面对新的交互方式升级的时候,需要升级的不仅是技术,商业方式也需要有十倍的升级,主要来自于对计算、通信和商业生态的要求。


沉浸式体验对计算的挑战来自几个方面。此前的计算更多是 CPU 上的计算,而沉浸式体验下的计算更多是对 3D 模型的实时渲染、对 AI 场景的计算以及对流媒体的编码和解码,这些都需要非常密集的计算能力。互联网的用户群体也随之成倍增加,需要更多计算资源来处理业务,需要巨大的规模。


通信上,需要更低延迟的通信做实时交互、大规模的 AI 模型训练,也需要更大带宽的通信来做更高分辨率视频的传输。


此外,生态的开放程度也需要进一步提升。相对于其他产业,沉浸式体验产业涉及的上下游涉企业更加丰富、多样,技术栈也非常复杂,所以需要更加开放的生态来,各个行业互相协作。不仅要让所有厂商保持一种开放的态度,更需要帮助大家建设统一标准、统一协作规范,一起将产业做大。

图片5.jpg


阿里云将过去 10 年解决的技术问题沉淀在神龙架构上。2017 年我们引入了神龙架构,不断降低 IO 延迟,提高 IO 带宽和吞吐能力。2021年云栖大会期间发布的第四代神龙已经可以将网络转发的时延降低至 15 us。


除了提升通信能力,我们还在不断提升计算能力。过去的数年间,阿里云 GPU 实例的计算能力提升了 100 倍。2021年发布了7代 GPU 实例,在 AI 计算、 AI 推理以及沉浸式体验图形计算场景下有了巨大的计算能力升级。


此外,我们也在不断地扩大计算规模,到目前为止,计算能力已经超过了 1700p 。


相比于技术建设,生态建设更为重要。


03 提升效率与生态能力的产品能力建设


要繁荣行业,最关键的是梳理生产关系。我们希望与合作伙伴以及客户一起共建产品体系,将这套生态体系做得更加完美。

图片6.png


异构计算方式一直是公认比较难以使用的,为此我们联合研发团队,在几个主要的应用场景里做了许多优化。在图形计算场景、AI 计算场景以及流媒体计算场景封装了诸多非常高效且好用的工具,帮助用户提升效率,提升产品的经济性和易用性。


在此基础上,我们还构建了视觉计算体系,希望将整个产业所有应用场景的需求都放至云上进行推广。


04 云XR平台重磅发布


图片7.jpg


云 XR 平台是阿里云与平行云合作,共同打造面向企业级 3D 应用托管与发布的实时渲染平台。除了支持平面设备,还可支持VR、AR、MR等3D终端设备,帮助用户获得更好的用户体验,用户可以将自己的 3D 应用部署在云 XR 平台上进行发布。

图片8.png


目前,平台的能力已经在不同行业得到了验证。


公共云上的云 XR 平台相比于私有部署具备更大的优势。


05 了解云XR平台


目前支持云 XR 平台支持基于T4, A10 和 RTX 6000 的 GPU 实例,包含英伟达vDWS 的license,使用十分简便。

图片9.png


T4, A10 和 RTX 6000都包含RT core和tensor core等关键特征,也包含了硬编码 codec单元等,可以帮助获得更低延迟的串流。同时,A10 和 RTX 6000搭载于神龙计算架构,能够获得更低延迟的 IO 。

图片10.png


云XR平台支持 Windows server 2016 和Windows server 2019,支持大部分主流的3D引擎,大部分终端都可以通过 SDK 或 app的方式接入,XR终端支持包括Quest2、HTC VIVE、Pico Neo3、Nolo等。平面可以通过终端 App 、SDK 、网页或小程序直接访问。

图片11.png


无论 3D 应用最终以 VR 的形式呈现还是以平面设备的方式呈现,将业务部署到云上的流程都是类似的。以VR为例,通过设计和建模阶段将设计好的模型导入到 3D 实时引擎里进行编辑和开发。开发完成的应用需要支持 Steam VR 和 open XR 。完成支持之后,将应用进行封装并做适配,即可在云 XR 平台上进行发布。


平面 3D 应用的部署流程类似,区别在于不需要支持 Steam VR 和 Open XR 。

图片12.png


云XR的场景应用场景主要分布在两个方面,分别是消费端业务和企业端业务。消费端业务致力于给终端用户带来更多乐趣,企业端业务致力于帮助企业带来更高的效率和创造力。


消费端的常见业务有 VR游戏、电竞,线上交互演唱会、虚拟人直播,电商场景下的 3D 产品展示;企业端的业务场景包括科研和教学领域、基于Metaverse的展会/博物馆、3D 会议、制造业或工业中应用的虚拟仿真、通过数字孪生助力企业培训以提高效率以及服务型数字人等。


无论是企业侧业务还是消费端业务,通过云 XR 平台都可以轻松地将这些应用部署到全世界各个角落,服务世界各地的用户。

图片13.png


云XR平台的典型用户包括彼真科技、拜科生物以及工程热物理研究所等。


「彼真科技」是一家领先的专注于在线演唱会的技术公司,过去半年多时间已经在阿里云举办多次线上演唱会,最近一次演出,同时在线人数超过30万,报名人数超过百万。


「拜科生物」是目前世界上最优秀的医学数字人技术企业,他们有着世界上最先进的生物体3D重建技术,目前已经将医学数字人进行封装后用于临床学习研究,并在云 XR 平台上发布。


清华大学的热工所通过云XR平台实现了很多大型装备的仿真模拟,后续也会通过云的方式将这些能力对外开放,为科研提供便利,以上就是我今天的分享。


拓展延伸

云XR平台落地的过程中,阿里云主要提供超强云端算力,及自研流媒体编码技术,平台层则由平行云对渲染、编码与推流等服务进行高效封装,集成了阿里云底层IaaS能力,支持NVIDIA CloudXR平台。


点击这里,观看本次发布会精彩回放。


相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
弹性计算 人工智能 调度
|
机器学习/深度学习 人工智能 编解码
云上解锁Web3.0 阿里云XR平台助力彼真科技呈现沉浸式演唱会
云XR平台完成了算力调度、渲染、推流、编码和用户管理等工作,彼真科技专注在内容制作与实现上。
云上解锁Web3.0 阿里云XR平台助力彼真科技呈现沉浸式演唱会
|
弹性计算 监控 架构师
阿里云架构师金云龙:基于云XR平台的视觉计算应用部署
采用计算巢接入的方式进行部署,大幅降低交付难度、缩短交付和部署的周期。
阿里云架构师金云龙:基于云XR平台的视觉计算应用部署
|
边缘计算 人工智能 编解码
|
运维
直播预告 | 混合云管理平台重磅升级
政企数字化转型已全面进入云时代,随着用户需求多元化、场景复杂化,为了更好地帮助客户应对挑战,加速业务创新,快速实现从单一的私有云场景向大型集团云&行业云场景的升级,阿里云混合云重磅发布「混合云管理平台2.0」。本次混合云管理平台从产品理念、技术能力进行了全方位升级,帮助客户实现可运营和自运维,从一朵可管理的云平滑升级成一朵可自主运营的云。阿里云混合云,政企数智创新的同行者。
338 0
直播预告 | 混合云管理平台重磅升级
|
编解码 架构师 文件存储
直播系统的云构建干货分享
直播系统的云构建干货分享
247 0
直播系统的云构建干货分享
|
云计算 程序员
阿里云官网全新改版,加速迈进“云端一体”
在刚刚过去不久的2020年云栖大会上,阿里云智能总裁张建锋宣布,阿里云正式从“云钉一体”走向“云端一体”,进入2.0时代。在这样的背景下,阿里云官网在10月24日程序员节到来之际,进行了全面的改版升级,向程序员致敬,推出了更具数字化、科技感的首页。
阿里云官网全新改版,加速迈进“云端一体”
|
视频直播 测试技术
在线教育崛起,企业搭建在线网校系统有哪些方案
面对新教育趋势企业需要怎样迈出转型这一步,又该如何搭建在线教育平台?
576 0
在线教育崛起,企业搭建在线网校系统有哪些方案
|
容器 数据安全/隐私保护 运维
阿里云智能--基础产品技术月刊2019年7月
永不停机的计算服务。阿里云重磅发布新一代企业级ECS实例以及新一代弹性裸金属云服务器。
3700 0
阿里云智能--基础产品技术月刊2019年7月
|
存储 云安全 弹性计算
阿里云智能基础产品技术月刊 2020年3月
阿里云智能基础产品技术月刊 2020年3月,全球加速Global Accelerator产品发布。
2457 0

热门文章

最新文章