2022年12月1日，由阿里云与NVIDIA联合举办的第二期阿里云视觉计算私享会在上海·浦西万怡酒店正式举行，会议邀请到了众多沉浸式体验与XR生态先行者分享行业洞见，并邀请众多互联网行业IT管理人，共同探讨“加速虚拟与现实交互”的最佳实践。
NVIDIA数字孪生解决方案架构师金国强在活动中带来了题为《数字孪生跨界到游戏制作，NVIDIA沉浸式方案详解》，为大家介绍了基于NVIDIA Omniverse平台的数字孪生解决方案；及其跨界到互娱行业的技术落地；结合NVIDIA XR沉浸式解决方案提出具体应用场景等。
本文根据该演讲整理而成。
金国强 | NVIDIA数字孪生解决方案架构师
NVIDIA Omniverse平台赋予数字孪生新生态
元宇宙作为互联网向3D方向演化的载体，同时也作为现实物理世界的复刻延伸和扩展，近年来在各个行业掀起热潮。像媒体娱乐行业诸如Meta的元宇宙应用能够打破现实世界的边界，通过扩展现实技术来构造新型虚实相融的互联网应用和社会社交形态。
同时可以看到各行各业及各种大小规模的企业也在打造物理属性准确、AI赋能且与现实世界完美同步的虚拟仿真系统。这些数字孪生系统为我们的行业和科学研究带来变革，使得我们在产品投产之前能够实时设计仿真以及优化我们的产品、设备和流程，也为超出现实物理世界原型机无法覆盖的超级复杂、超大规模的系统的研究和验证提供了新的解决思路。
数字孪生系统已经从很小的一个产品设计到仓储中心、数字工厂，到整个城市规模级别的5G信号模拟，自动驾驶仿真，再到整个地球规模级别的大气气候演化等等，覆盖的行业范围以及大小尺度的跨度都是非常巨大的。
关于实时数字孪生系统，我们自己的定义是对和现实物理世界相匹配的数字资产以及我们的流程、环境进行的大规模物理准确的仿真，同时能够集成多种自动化的工具来完成对系统的监测、管理和优化，也能够实现和物理世界的数据流的同步，来实现数据的交互。
针对元宇宙和数字孪生的应用，NVIDIA推出了强大的集渲染、物理仿真和AI于一体的Omniverse平台，可以实现不同的常用的3D工具的链接和数据连通，同时在应用层面可以定制化、自定义的扩展和插件，形成自己想要的3D工作流的应用。在规模的可扩展性上也适配了工作站，数据中心以及云端的各种工作形式，可以非常便捷的进行数据资产的协同制作，以及元宇宙数字孪生系统的创建、运行和优化。
基于Omniverse平台，在打造数字孪生时的技术模块以及典型应用包括以下三个方面：
第一，高保真3D可视化，基于强大的RTX实时光线追踪的技术呈现极致的视觉体验，同时能够聚合3D资产的数据，实现实时的物理准确的模拟仿真。
第二，定制化的3D工具和工作流，基于Omniverse的数据协同的引擎以及和不同DCC软件之间的Connector链接，定制化的扩展和应用的打造，可以实现并发互不影响，综合呈现的协作开发设计的流程。
第三，合成数据生成，基于物理准确的视觉效果以及传感器信号的模拟仿真，可以拿Omniverse平台里面的数据作为实际物理系统AI算法设计的数据的输入。
NVIDIA与合作伙伴基于Omniverse平台的案例，该视频来源于NVIDIA
游戏制作痛点的技术应答
元宇宙数字孪生的重要应用方向之一是媒体娱乐行业，Omniverse平台同样也是媒体娱乐行业游戏制作领域的一个强大的助力工具。面对游戏制作中的痛点，NVIDIA有着非常亮眼的解决方案和特性，其中还有两个值得一提的功能：
协同设计：利用Omniverse Nucleus交换和协作引擎，实现在不同的终端的编辑、审查，实现协同设计，从资产创建到环境配置，到光照设计、渲染呈现等所有环节都可以同时进行，节省大量的前后返工迭代设计的时间。
语义多模态资产搜索微服务DeepSearch：支持利用文本和图片对资产内容进行直接搜索，便于大规模的资产数据库的管理。
该视频资源来源于 NVIDIA
Activision动视游戏制作公司和ILM工业光魔视觉特效工作室利用DeepSearch工具进行数据资产管理和搜索。使用DeepSearch工具可以避免为庞大的数据库资产进行手工整理和打标签的工作，为团队节省了大量的时间和成本，提高生产效率。国内也有一些游戏工作室在试用DeepSearch的功能，希望能够解决它们在资产搜索和管理方面遇到的一些难题。
XR沉浸式解决方案及应用场景解读
和元宇宙数字孪生及媒体娱乐行业紧密结合的一种终端呈现方式——扩展现实XR。对此NVIDIA也推出了强大的XR的平台——CloudXR。
它是基于RTX渲染技术的XR的专用平台，可以跨5G和WIFI网络实现无线连接的VR和AR运用。通过vGPU的技术还可以针对数字中心和边端设备实现全面可拓展性。Cloud XR基于服务器和客户端的架构，可以将多种OpenVR的应用向安卓、Windows、iOS等终端设备串流，呈现整个扩展显示的内容。
现在CloudXR的公开版本是3.2，NVIDIA实现了服务器客户端双向语音支持及实时QoS反馈，预计明年有4.0的版本支持OpenXR和Linux系统，在4.X版本有对深度信息和眼动追踪的支持。同时从2016年打造强大的XR的生态，其中包括了阿里云IaaS基础设施服务提供商，还有用户并发管理的PaaS的平台，VR/AR/MR/HMD的硬件设备，VDI的虚拟桌面，以及非常重要的基于NVIDIA技术集成到解决方案里面的广大开发者和ISV，构成了强大的CloudXR生态。
刚刚志坤总提到今年年中NVIDIA的PaaS合作伙伴平行云和阿里云联合推出的产品（上图右侧）云XR平台，集成渲染、编码推流、算力调度和应用发布管理的综合功能为一体，更加方便虚拟场景落地。
上图为CloudXR架构图，绿色部分主要为NVIDIA的工作，左边是Server端，右边是Client端。Server端可以让广大开发者将OpenVR的应用无缝集成和接入到CloudXR，不需要了解专业的CloudXR的底层架构和细节，这些应用可以认为是直接链接到终端的各种VR/AR设备之上。
在Client端也已经支持各种已有的HMD，不需要额外的硬件支持。NVIDIA还集成底层音视频编解码、前向纠错、QoS的服务等，以保证服务器和客户端网络传输的稳定性，来达到XR内容的流畅体验。
CloudXR典型的应用场景就是虚拟演唱会，从去年12月开始，基于阿里云的基础设施，NVIDIA的合作伙伴进行了多次效果爆棚、人气爆炸的虚拟演唱会。
这是（上图）今年7月NVIDIA的合作伙伴上云科技利用CloudXR加上阿里云云端A10的GPU实例向观众呈现了一场在VR里面举行的虚拟演唱会。左下视频中的电气樱桃的乐队身穿动捕设备，在身后大屏上展示实时同步的实时虚拟形象，和整个VR虚拟演唱会的场景。
戴上AR头盔后，右上角（上图）就是看到的沉浸式VR虚拟演唱会的场景，并且可以在虚拟场景中通过手柄和演出者进行互动。除了VR头盔和手柄，还开放了平板等轻量级设备上的虚拟演唱会的通道。
上图是NVIDIA XR解决方案主页二维码，同时包括在其他专业视觉、渲染、仿真、AI方面的技术和方案，希望大家能够紧密关注，多多交流。
我的分享就到这里，谢谢大家！
