阿里云张新涛:支持沉浸式体验应用快速落地,阿里云云XR平台发布

简介: 面向企业级 3D 应用托管与发布的实时渲染平台

2022年7月20日14:00,阿里云联合平行云推出的云XR平台新品发布会正式启动,阿里云弹性计算产品专家张新涛带来了题为《支持沉浸式体验应用快速落地,阿里云云XR平台发布》的分享。


阿里云XR平台提供算力调度、3D实时渲染、音视频编码与推流、应用发布与用户管理等服务。开发者可将应用发布托管到云XR平台,用户可以使用AR/VR/MR等多终端加入到云XR平台与3D应用交互并体验。以下是他的演讲内容整理,供大家阅览:


01 从单项交互到全要素交互演进


如今,沉浸式体验是一个异常火爆的词,而提到沉浸式体验就不得不提到全要素交互。

图片1.png


人类媒体的发展趋势是从抽象到具体,逐步还原真实的世界。那么,全要素交互如何实现?目前来看,可以通过沉浸感叠加实时交互。人类天生乐于社交,并且充满好奇心,这也是发展的动力。


人类的幼儿认知世界的方式是触碰,这也是一种更高效的认知方式。依据人类的认知模型,更加接近真实的模拟实践是仅次于费曼学习法的学习方法。学习效率的提高无疑也能提高生产效率,这也是阿里云出品云XR平台的初衷,希望帮助全社会、全行业提升创造力和生产力。


02 云计算视角下的沉浸式体验及商业技术挑战


下图中七层模型非常系统地将整个业务分为体验、发现、创作者经济、空间计算、分布式、人机接口、基础设施7层。

图片2.png


左侧的七层模型映射到右侧云计算常见的应用领域后,对云计算产生了新的需求,而这些新的需求依然围绕着用户体验展开。简单总结来说,Metaverse全要素的沟通方式带来了前所未有的影响,对云计算来说也带来前所未有的挑战。

图片3.jpg


沉浸式带来的挑战主要来自于计算、通信以及商业模式


Metaverse带来的交互方式让计算变得更复杂。以PC 到手机的发展过程为例,最早期与 PC 的交互方式只能通过显示器和键盘鼠标,后来出现了网络摄像头,但交互依然十分简单,导致 PC 上的应用也十分简单,数据量少,计算量也很少。最终使得很多业务使用本地计算能力即可胜任,比如处理文档等简单计算。


手机端的出现带来了巨大变化,交互设备变得更多,除了多点触控的显示屏、不同分辨率的摄像头,还包含各种传感器,比如加速度传感器、温湿度传感器、红外传感器、距离传感器等,这些传感器带来了更多信息,也使得手机上的应用变得丰富多彩。随着需要处理的计算越来越多,手机应用的部分计算转移到了云上,也引入了GPU 这样的加速器。比如在 AI和游戏计算场景,会调用云上的计算能力来帮助获得更好的用户体验。


发展到 XR 体验后,计算场景愈发丰富,比如有手势识别、终端设备的语音识别等,而这些新的交互方式需要耗费更大的计算能力

image.gif图片4.png


整个产业面对新的交互方式升级的时候,需要升级的不仅是技术,商业方式也需要有十倍的升级,主要来自于对计算、通信和商业生态的要求。


沉浸式体验对计算的挑战来自几个方面。此前的计算更多是 CPU 上的计算,而沉浸式体验下的计算更多是对 3D 模型的实时渲染、对 AI 场景的计算以及对流媒体的编码和解码,这些都需要非常密集的计算能力。互联网的用户群体也随之成倍增加,需要更多计算资源来处理业务,需要巨大的规模。


通信上,需要更低延迟的通信做实时交互、大规模的 AI 模型训练,也需要更大带宽的通信来做更高分辨率视频的传输。


此外,生态的开放程度也需要进一步提升。相对于其他产业,沉浸式体验产业涉及的上下游涉企业更加丰富、多样,技术栈也非常复杂,所以需要更加开放的生态来,各个行业互相协作。不仅要让所有厂商保持一种开放的态度,更需要帮助大家建设统一标准、统一协作规范,一起将产业做大。

图片5.jpg


阿里云将过去 10 年解决的技术问题沉淀在神龙架构上。2017 年我们引入了神龙架构,不断降低 IO 延迟,提高 IO 带宽和吞吐能力。2021年云栖大会期间发布的第四代神龙已经可以将网络转发的时延降低至 15 us。


除了提升通信能力,我们还在不断提升计算能力。过去的数年间,阿里云 GPU 实例的计算能力提升了 100 倍。2021年发布了7代 GPU 实例,在 AI 计算、 AI 推理以及沉浸式体验图形计算场景下有了巨大的计算能力升级。


此外,我们也在不断地扩大计算规模,到目前为止,计算能力已经超过了 1700p 。


相比于技术建设,生态建设更为重要。


03 提升效率与生态能力的产品能力建设


要繁荣行业,最关键的是梳理生产关系。我们希望与合作伙伴以及客户一起共建产品体系,将这套生态体系做得更加完美。

图片6.png


异构计算方式一直是公认比较难以使用的,为此我们联合研发团队,在几个主要的应用场景里做了许多优化。在图形计算场景、AI 计算场景以及流媒体计算场景封装了诸多非常高效且好用的工具,帮助用户提升效率,提升产品的经济性和易用性。


在此基础上,我们还构建了视觉计算体系,希望将整个产业所有应用场景的需求都放至云上进行推广。


04 云XR平台重磅发布


图片7.jpg


云 XR 平台是阿里云与平行云合作,共同打造面向企业级 3D 应用托管与发布的实时渲染平台。除了支持平面设备,还可支持VR、AR、MR等3D终端设备,帮助用户获得更好的用户体验,用户可以将自己的 3D 应用部署在云 XR 平台上进行发布。

图片8.png


目前,平台的能力已经在不同行业得到了验证。


公共云上的云 XR 平台相比于私有部署具备更大的优势。


05 了解云XR平台


目前支持云 XR 平台支持基于T4, A10 和 RTX 6000 的 GPU 实例,包含英伟达vDWS 的license,使用十分简便。

图片9.png


T4, A10 和 RTX 6000都包含RT core和tensor core等关键特征,也包含了硬编码 codec单元等,可以帮助获得更低延迟的串流。同时,A10 和 RTX 6000搭载于神龙计算架构,能够获得更低延迟的 IO 。

图片10.png


云XR平台支持 Windows server 2016 和Windows server 2019,支持大部分主流的3D引擎,大部分终端都可以通过 SDK 或 app的方式接入,XR终端支持包括Quest2、HTC VIVE、Pico Neo3、Nolo等。平面可以通过终端 App 、SDK 、网页或小程序直接访问。

图片11.png


无论 3D 应用最终以 VR 的形式呈现还是以平面设备的方式呈现,将业务部署到云上的流程都是类似的。以VR为例,通过设计和建模阶段将设计好的模型导入到 3D 实时引擎里进行编辑和开发。开发完成的应用需要支持 Steam VR 和 open XR 。完成支持之后,将应用进行封装并做适配,即可在云 XR 平台上进行发布。


平面 3D 应用的部署流程类似,区别在于不需要支持 Steam VR 和 Open XR 。

图片12.png


云XR的场景应用场景主要分布在两个方面,分别是消费端业务和企业端业务。消费端业务致力于给终端用户带来更多乐趣,企业端业务致力于帮助企业带来更高的效率和创造力。


消费端的常见业务有 VR游戏、电竞,线上交互演唱会、虚拟人直播,电商场景下的 3D 产品展示;企业端的业务场景包括科研和教学领域、基于Metaverse的展会/博物馆、3D 会议、制造业或工业中应用的虚拟仿真、通过数字孪生助力企业培训以提高效率以及服务型数字人等。


无论是企业侧业务还是消费端业务,通过云 XR 平台都可以轻松地将这些应用部署到全世界各个角落,服务世界各地的用户。

图片13.png


云XR平台的典型用户包括彼真科技、拜科生物以及工程热物理研究所等。


「彼真科技」是一家领先的专注于在线演唱会的技术公司,过去半年多时间已经在阿里云举办多次线上演唱会,最近一次演出,同时在线人数超过30万,报名人数超过百万。


「拜科生物」是目前世界上最优秀的医学数字人技术企业,他们有着世界上最先进的生物体3D重建技术,目前已经将医学数字人进行封装后用于临床学习研究,并在云 XR 平台上发布。


清华大学的热工所通过云XR平台实现了很多大型装备的仿真模拟,后续也会通过云的方式将这些能力对外开放,为科研提供便利,以上就是我今天的分享。


拓展延伸

云XR平台落地的过程中,阿里云主要提供超强云端算力,及自研流媒体编码技术,平台层则由平行云对渲染、编码与推流等服务进行高效封装,集成了阿里云底层IaaS能力,支持NVIDIA CloudXR平台。


点击这里,观看本次发布会精彩回放。


相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
消息中间件 物联网
MQTT常见问题之mqtt 报 MqttException:客户机未连接如何解决
MQTT(Message Queuing Telemetry Transport)是一个轻量级的、基于发布/订阅模式的消息协议,广泛用于物联网(IoT)中设备间的通信。以下是MQTT使用过程中可能遇到的一些常见问题及其答案的汇总:
|
7月前
|
弹性计算 固态存储 JavaScript
阿里云4核8G服务器ECS配置大全以及参考价格整理
阿里云4核8G服务器ECS提供多种实例规格选择,如通用算力型u1、计算型c8i、经济型e等,价格从每月216元至879元不等。当前u1实例年付仅955元,支持3M带宽下约30人并发访问,适用于日均万级IP应用,系统盘为20GB-40GB ESSD Entry云盘,性能稳定,适合企业及开发者使用。
689 5
|
8月前
|
数据可视化 API 开发工具
构建高效需求池,这些需求池管理工具帮你提升需求管理的完成率
在产品开发中,需求来源多、变更频繁,易导致混乱。需求池管理工具通过统一收集、分类评估、优先级排序及任务流转,助力团队高效协同。它不仅提升跨部门协作效率,还确保需求从收集到落地的全流程可视化与可追踪,是现代产品团队不可或缺的利器。
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
Qwen3:小而强,思深,行速
Qwen3(千问3)于北京时间4月29日凌晨发布,是Qwen系列大型语言模型的最新成员,具备全系列、开源最强、混合推理等特性。它包括两款MoE模型(Qwen3-235B-A22B和Qwen3-30B-A3B)及六个Dense模型,支持119种语言。Qwen3在代码、数学和通用能力测试中超越行业顶尖模型,如DeepSeek-R1和Grok-3。其旗舰版Qwen3-235B-A22B仅需4张H20即可本地部署,成本为DeepSeek-R1的35%。此外,Qwen3原生支持思考模式与非思考模式切换,降低复杂任务门槛,并支持MCP协议优化Agent架构。
7835 2
|
机器学习/深度学习 SQL 存储
机器学习PAI常见问题之资源不足如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
调度 vr&ar 图形学
阿里云联合平行云推出云XR平台,支持沉浸式体验应用快速落地
2022年6月,阿里云与平行云联合发布云XR平台,降低云端视觉计算应用开发门槛,加速数字孪生、虚拟人、虚拟现实等XR应用落地。该平台由阿里云提供算力调度服务,平行云全面集成3D实时渲染、音视频编码与推流等服务,支持多终端接入,助力互联网、新零售、社交等行业创新业务形态。开发者可通过SDK轻松接入,实现3D应用快速云化部署,终端用户可享受低延时、高性能的沉浸式体验。
|
图形学 缓存 算法
掌握这五大绝招,让您的Unity游戏瞬间加载完毕,从此告别漫长等待,大幅提升玩家首次体验的满意度与留存率!
【8月更文挑战第31天】游戏的加载时间是影响玩家初次体验的关键因素,特别是在移动设备上。本文介绍了几种常见的Unity游戏加载优化方法,包括资源的预加载与异步加载、使用AssetBundles管理动态资源、纹理和模型优化、合理利用缓存系统以及脚本优化。通过具体示例代码展示了如何实现异步加载场景,并提出了针对不同资源的优化策略。综合运用这些技术可以显著缩短加载时间,提升玩家满意度。
1793 6
|
数据可视化 Python
python中Copula在多元联合分布建模可视化2实例合集|附数据代码
python中Copula在多元联合分布建模可视化2实例合集|附数据代码
|
网络协议 安全 网络性能优化

热门文章

最新文章