2023年3月23日14：00（中国时间），NVIDIA GTC开发者大会阿里云开发者社区观看入口正式开放，阿里云弹性计算产品专家张新涛带来了题为《重构计算，驱动视界：阿里云视觉计算思考与实践》的分享，以下是他的演讲内容整理：
数千年前有了文字，随后有了报纸、媒介，大众可以通过报纸来获取信息，但该类方式得到的信息十分有限。20多年前，人们开始进入到PC互联网时代，得以通过图文甚至音视频获取信息，人们也有了更好的信息获取体验。
大约在10年前，我们进入了移动互联网的时代，信息的获取与交互得到了进一步加强。而现在，我们随时随地可以视频通话、购物、点外卖，这在30多年前可能只会出现在科幻影视剧里。
今天，我们开始探索基于沉浸式交互的下一代互联网，它能为我们带来更多的创新体验，但同时也带来了更多技术与商业上的挑战。
想要实现沉浸式体验，将会面临四个层面的挑战，分别是基础设施支撑、素材的构建、应用的开发以及应用的发布。
首先，要实现高画质、大场景的沉浸式体验，需要高质量的画面渲染物理仿真与AI计算，这对于计算基础设施来说，显然是一个挑战巨大。
其次，高画质的内容需要高精度的模型与素材构建，但传统的手工方式费时费力，需要更多高精度、更低成本的素材构建方式。
再次，沉浸式应用生态的繁荣需要更低门槛的开发工具与平台，开发者方能打造更好的3D应用。
最后，沉浸式体验的3D应用也会面临成百上千终端的适配，开发者需要通过适配以获得更好的用户使用体验预期。但由于计算设备算力有限，沉浸式体验的普及挑战也十分巨大。
那么阿里云如何帮助产业来应对挑战呢？
在过去三年时间里，阿里云推出了阿里云视觉计算产品方案。这是一个面向视觉计算场景的写作矩阵，与伙伴一起为沉浸式交互上云提供了全流程的方案。
在阿里云视觉计算产品方案中，IaaS能力是实现沉浸式优质体验的底座，该层面的创新也是解决基础设施层挑战的关键。
在IaaS层，我们为沉浸式体验打造了AI计算与图像计算的SDK，以便帮助全行业解决计算效率的问题，也进一步提升了基础设施的能力。沉浸式体验面临的更大挑战依然是内容开发与写作。因此，我们面向素材创建、应用开发与应用发布，构建了新的产品。从创意设计到发布运营，帮助客户构建完整的业务流程，帮助产业提高写作效率。
除此之外，我们还引入了各行业的行业编辑器与行业SaaS，为沉浸式体验在各行业的推广提供了低代码的产品方案。
有了产品协作方案，在过去三年时间里，我们协作了数十个优质的ISV，完成了数十个沉浸式体验在线上的业务展开。
沉浸式体验带来的计算与通讯上的需求是前所未有的，主要面临三种类型的计算负载，分别是实时3D渲染、编码推流物理仿真与实时AI计算。
针对上述需求，计算方面，我们基于英伟达的A10GPU、阿里云的CIPU芯片以及IaaS+软件加速能力，实现了新一代的GPU云服务，在AI计算与视觉计算能力上有了大幅提升。
除了强悍的计算能力，网络通信也是决定体验的另一重要环节。在用户接入侧，阿里云提供了全球一张网的加速能力，帮助用户的业务接入。在数据中心内部，阿里云通过自研的CIPU技术架构，实现了转发加速与延迟降低，阿里云的VPC网络最低延时可低至16us。同时，增加了面向流媒体的编解码计算优化，进一步降低了延时，提升了用户体验。
今天，客户进行业务创新时，我们依然建议用户基于云来构建与开发，因为只有云才能提供沉浸式体验所需的计算基础设施能力。
有了计算基础设施，便可以开始构建业务。
在3D互联网时代，人、物、场的3D素材是构建新应用的原材料。然而，当前构建高净度的3D模型成本依然十分高昂，原因在于建模师的人力成本十分可观。而另一方面，2D转3D的算法精度与效率尚不如人意。
在过去的数十年间，非常多游戏工作室与3D引擎社区都有了大量优质素材的积累，鉴于素材在格式与接口上各异，导致无法形成有效的交易与继承，这导致产业不得不再次造轮子，也严重影响了产业的发展。
因此，我们开始探索将3D素材的构建与素材管理放在云上进行，并因此具备了诸多新的优势。
为什么要放在云上？
原因在于，AI、3D构建与素材格式转换的领域中有了新的进展，并且它的实现需要大规模的计算与存储。
首先，可以通过AI逆向渲染实现2D到3D的高效高精度转换，还可以通过AIGC产生更多高质量的素材与内容。
其次，可以通过云上的超强计算能力与存储能力，将不同格式的素材转换成统一的格式，以便进行下一步的应用开发。
而到了应用开发阶段，依然存在许多难题。以传统的游戏开发为例，在大场景开发中，无法同时编辑，需要相互等待，效率极低。另外，在耗时计算方面，比如烘焙的过程占据了大量开发时间，导致开发效率降低。传统的开发环境限制较多，只能在固定场所进行，不利于高效的创作。
因此，我们开始考虑将3D应用的开发搬到云上，基于云上的无限算力与实时在线能力，帮助用户提升开发效率。
完成了应用开发，还需要面临发布的难题。
传统的3D游戏以及应用在发布前要适配成百上千的终端，且终端形态各异，比如手机、平板或XR，计算能力也各异，因此难以实现开发者的预期，存在巨大的终端适配成本。
因此，我们面向云上发布场景，推出了云XR平台，用户可以在数分钟之内将自己的3D应用部署在云XR平台上，并将服务发布到全球任何角落。云XR平台中集成了英伟达的CloudXR套件，使得渲染编码与推流能力有了进一步提升。同时，平台还提供了用户管理、应用管理与资源管理的能力，进一步提升了业务部署与运营的效率。
云XR平台可以支持目前主流的所有终端设备，通过将3D应用部署在云端，减少了对终端设备的计算压力，用户也无需下载体积巨大的客户端安装包，可以随时随地接入，大幅提升了用户体验。对于开发者而言，也大幅提升了开发效率。
基于上述产品能力，面向互联网行业的虚拟活动、数字人构建、云上3D应用等开发场景，我们帮助用户实现了许多业务的突破与创新。
在不久前的2022年双十一购物节，阿里妈妈与江苏卫视联合打造了元宇宙明星歌唱会《2060元音之境》，潘玮柏、刘雨昕、肖敬腾、张含韵四位明星真人亮相江苏卫视，而他们的数字化身同时也在虚拟空间“曼塔沃斯”大陆的舞台上表演。
曼塔沃斯大陆的场景非常丰富，有品牌馆、数字场馆与中心舞台等多个场馆。“逻戈斯号”宇宙飞船是总传送点，用户可以听演唱会，也可以看藏品、看品牌馆。同时，演唱会实时交互，观众可以通过虚拟化身在场景里走动。
如此巨大的场景，意味着场景、人物形象与地图相关的高保真模型数据量也十分巨大。如果将素材封装成安装包运行在客户终端，安装包将达到数十GB。
通过阿里云XR平台的支持的《2060元音之境》，实现了万人同时身临其境。观众无需提前预装软件，也不限于手机、PC或平板等终端，不占用任何存储空间，只需要扫码或链接即可进入。
我们与彼真科技、轴厂伙伴一起打造了多场景3D科幻演唱会，完成了3个巨大挑战。
第一，演出类的应用中，会场与角色的模型十分巨大，无法通过客户端渲染实现，需要轻客户端或无客户端。
第二，高保真模型的渲染与音频的传输方面，要保证云与端同步同频，才能有极佳的沉浸感，这对于算力与通讯提出了极高的要求。
第三，演唱会线上开放，会随时涌入大量玩家，需要有巨大的资源池来承载数十万甚至百万的玩家与观众。
而基于阿里云XR平台，我们可以方便地将演出部署在云端，并且在云端完成渲染计算与推流。同时依托于阿里云遍布全球的基础设施，实现云与端的同频体验，并且能够同时容纳大量玩家与观众。
虚拟演唱会片段
数字栩生是一家数字人技术服务商，也是我们的客户、伙伴。他为众多知名企业制作了著名的虚拟人IP。
在数字人场景中，数字人的逼真与灵动最为重要。
逼真要求模型特别精细。数字栩生所制作的虚拟人，面部+毛发+服装有共计数十万面的渲染，还要通过AI驱动面部上百个标志点模仿表情，驱动身上数十个关节点位模仿动作，驱动毛发与衣服产生自然飘动，带来了十分巨大的计算量。
数字人的另一关键在于流畅的交互与沟通。除了产生精确的表情与高仿真的声音之外，还需要极低的延迟与传输，并且要求终端对于人类的表情语言与情绪能够实现快速识别相应。
针对以上两个计算与通讯的要求，阿里云提供了超强的渲染与AI计算能力，同时依靠阿里云的CIPU架构来降低延迟，使得交互更加流畅。阿里云的云XR平台还大幅帮助数字栩生提升了软件的交付能力与更新效率。AI模型、3D模型与素材的迭代、软件交付与部署全流程基于云完成，大幅提升了开发效率与业务的交付效率。
云XR平台可根据策略自动调度云上资源，数字栩生不需要关心底层的资源规划。
人与人的交流除了文字与声音外，还有手势与手语的交流。数字栩生与千搏信息基于云XR平台发布了自己的手语主播千言。与千言的沟通方式十分自然，用户通过连接云XR平台的语音与文字告知千言，千言会将语音与文字转换成听障人士可以理解的手语。
通过AI计算、XR计算，产生了如千言这样更接近于自然人的人机交互方式，可以帮助更多人进入到数字世界，消除数字鸿沟。
红星美凯龙是国内头部家居企业，它基于阿里云后端采用了领先的实时3D引擎，实现了家居设计的SaaS化。通过拖、拉、拽的简单方式，实现所想即所得，门店设计师与顾客设计之后即可提交渲染。
得益于云端的渲染能力以及GPU强大的光追能力，可以实现在10分钟之内产生最终效果，顾客可以身临其境地体验自己理想家的每一个细节与角落。
我们相信，其他行业也将会诞生类似的场景和应用，我今天的分享就到这里，希望能够给大家带来帮助和启发，谢谢大家。
点击链接进入阿里云开发者社区直播间 / 扫描上方海报中的二维码进入NVIDIA GTC官网，均可观看完整视频。
