在3D/XR应用开发领域,传统终端在渲染高帧率的三维应用画面时面临巨大挑战。这主要是因为高帧率的渲染不仅对处理器有较高要求,还需要强大的图形处理单元(GPU)来支持。而许多传统终端,尤其是早期或低端的设备,往往在硬件配置上存在局限,导致它们难以流畅地运行这些高要求的3D/XR应用。
更进一步说,随着技术的迅速进步,现代的3D/XR应用开始集成更加复杂的物理效果、真实的光线追踪、以及更高级的材质和纹理,这无疑进一步增加了渲染的复杂性。而对于传统终端来说,要完美展现这些效果,不仅需要更强大的算力,还需要更高的内存带宽和更快的数据读取速度。此外,不只是硬件层面的问题,软件优化也至关重要。在没有经过充分优化的应用中,即使是顶级的硬件也可能无法达到理想的性能。因此,开发者需要不断对代码进行优化,以确保3D/XR应用在各种终端上都能获得良好的表现。
面对这些挑战,许多业内人士和企业开始寻求新的技术解决方案,如云渲染、边缘计算等,来帮助传统终端更好地应对3D/XR应用的高渲染要求,确保用户能够得到流畅且沉浸式的体验。实时云渲染解决方案充分利用了云计算的强大算力,将渲染任务从传统终端转移到云端,进而大幅度降低了对终端设备的硬件要求。
在这种模式下,用户的设备不再负责重型的图形渲染工作,而只是作为一个显示和输入的接口。当用户在其设备上启动一个3D/XR应用时,所有的计算和渲染工作都会在云端的服务器上完成。这些服务器配备了顶级的处理器和高性能的GPU,可以轻松处理高度复杂的渲染任务。完成渲染后,云端服务器将画面实时地传输回用户的设备上,为用户提供近乎原生的体验。
实时云渲染技术路线本身具备以下几大优势:
弹性扩展:根据用户的需求,我们可以迅速增加或减少云端的计算资源,确保每个用户都能获得最佳的体验,而无需担心资源瓶颈或过度开销。
高度优化的传输协议:为了保证渲染的画面能够实时、无延迟地传输到用户设备,我们采用了高度优化的传输协议,有效减少了数据的传输延迟和丢包率。
跨平台支持:无论用户使用的是哪种操作系统或设备,只要可以连接到互联网,都可以轻松享受到我们云端渲染带来的高品质体验。
安全性:所有的计算和数据处理都在云端完成,用户的私人数据不会留存在本地,大大降低了数据泄露的风险。
经过多年的研发和实践,Paraverse平行云采用了实时云渲染技术路线,并成功打造了企业级的实时云渲染解决方案——LarkXR。这一方案在业界实现了创新性的突破,并展现出以下技术优势:
视觉计算与GPU池化:实现了GPU的高效利用,拦截底层的图形接口如DX和OpenGL,使多个应用能够共享GPU资源。我们还确保了输入输出设备的进程级别隔离,支持一台机器配备多张显卡,每张显卡可以同时为多个应用渲染。更进一步,实现了虚拟GPU与物理GPU之间的高效调度,使得资源使用达到细粒度,从而提高了GPU的使用效率。
网络传输优化:系统可以实时估算网络状态、图像动态以及帧率,结合Paraverse平行云专利Qoe感知拥塞控制器和自主研发的拥塞控制算法,动态调整目标码率,确保数据高效编码并在数据链路层封装。整体考虑网络状态进行动态调整,以应对网络延迟、数据丢包、网络抖动或带宽变化等问题,确保最佳用户体验
跨终端兼容性:封装了LarkXR以及其他如webrtc、open VR、open XR等协议,确保音视频解码可以在客户端进行,并将操作指令迅速发送到云端执行。我们的客户端SDK支持多种平台,如Web、Android、Unity、Windows、iOS等,并与PICO等伙伴合作,兼容大部分主流终端。无论是SR、VR、AR还是MR等三维应用,都能在Paraverse平行云平台上得到兼容和支持。
Cloud XR PaaS平台:提供功能全面、开箱即用的Cloud XR PaaS平台。它支持包括边缘云部署、动态节点配置以及大规模商业化集群部署在内的多种部署方式。
在通用型PaaS平台上,LarkXR进一步嵌入了适合多种行业和场景的功能组件,其中包括数据通道、音频通道、视频通道、直播推流、互动协同模式、预启动模式及智能语音等特性。与UE紧密相关的主要是数据通道、音频视频通道以及直播推流、互动模式这四个组件:
数据通道:图示为绿色双向箭头,代表在我们云端与客户端之间的虚拟通道,为三维应用建立快速通道。云端处理高帧率、高清晰度的三维应用,客户端处理业务流程及其他渲染。
音频和视频通道:音频、视频通道它们主要实现客户端与云端三维应用间的音视频数据传输,打通底层音视频驱动层,从而降低用户端计算压力,实现时间空间无界限交互。
直播推流:专为直播场景设计的组件,简化了整体直播接入流程,仅需少量设置即可使用,极大提升了用户的直播体验。
互动模式:用户可以在LarkXR客户端选择互动模式,在三维应用中作为演示者或观看者。演示者有更大权限,其他观看者可以实时同步应用操作。此模式非常适合教育场景。
UE引擎主要适用于高精度、复杂场景的三维应用,要求高性能硬件和强大的GPU算力。为了解决UE开发的挑战,Paraverse平行云LarkXR集成像素流送技术可以帮助UE开发者实现低代码或无需改动的上云操作。除了保留UE引擎的强大开发能力,还能确保画面的精美,同时让终端轻量化、使用更便捷、部署更简单。