全息技术(Holography)、体积视频(Volumetric Video)与高斯溅射(Gaussian Splatting)推动数字内容变革,三维动态内容实时生成与传输成行业关键。但技术落地遇阻,痛点显著:一是硬件与算力要求高,动态捕捉和实时渲染设备成本及运维费让中小团队难以承受;二是数据量大,本地算力无法满足实时处理;三是多终端适配复杂,跨国传输延迟。实时云渲染是全息技术核心,其整合动态捕捉、体积视频生成等环节,动态捕捉可达毫米级精度,体积视频通过AI算法融合数据并实时重建。
突破全息影像性能瓶颈的关键技术
在全息影像实时渲染中,算力与传输等性能瓶颈突出。云端GPU资源池化与弹性调度成为应对算力挑战的利器,这也是实时云渲染技术的核心能力。借助GPU池化技术,整合分散的GPU算力,构建可动态扩展的资源池。LarkXR具有PaaS平台产品能力,能智能分配算力,满足三维重建及高斯溅射等复杂计算需求,实现对硬件资源全生命周期管理,大幅提升异构计算资源利用率。
在全局传输优化方面,全息数据流对带宽、延迟及弱网适应性要求严苛。平行云LarkXR重构端到端传输架构,打通渲染、编码与网络传输链路。利用自研降龙(XLong)传输控制框架与Hermes流式引擎,融合动态码率自适应、编码优化及多路径传输技术,在跨国网络波动与弱网下稳定推流,解决延迟、丢包和带宽动态变化问题。
为加速全息技术规模化落地,平行云LarkXR开箱即用的部署方式,采用自动安装程序,提升开发与部署效率。支持原生Unity/Unreal引擎工作流,实现跨平台兼容性与标准化接入,开发者无需针对异构终端重复开发,还能在低端硬件实现高清内容流畅运行,借助标准化接口快速完成从开发到全球分发的闭环。
解决高精度体积视频商业化泛终端使用痛点
以法国的科技公司French Touch Factory为例(以下简称“FTF”)。French Touch Factory于2022年联合欧盟委员会 (The European Commision) 发起 ITHACA计划 (Immersion and Training with Holograms for Art, Craft and Audiovisual), 通过全息技术革新艺术、工艺与教育内容的传递方式。高精度体积视频叠加实时动捕,海量的数据引入引擎中构建了庞大的3D/XR程序,为了让更多的人能够体验使用,两年来不断寻找突破算力瓶颈的方案,以便能提供流畅高品质的内容输出。
平行云LarkXR实时云渲染平台能够将FTF的高精度体积视频转化为跨平台流媒体内容。成功打破终端算力壁垒,得以实现全息直播与实时交互体验。观众无论使用何种终端设备,都能流畅观看全息直播内容,并参与实时交互,大大提升了用户体验,为全息技术的广泛应用开拓了新的可能。
全息技术应用商业化前景
依托实时云渲染技术,全息应用可以从小范围、专业性的应用场景,扩大到面向消费者的日常生活场景。
体育赛事领域 :NBA全息战术与奥运多视角
体育赛事的内容消费正从被动观看转向沉浸式互动。然而,传统2D录像无法还原球员的三维运动轨迹。通过LarkXR实时云渲染技术,支持实时处理RGB-D相机捕捉的数据实时传输至云端,利用高性能GPU集群进行三维重建与渲染。这使得开发者能够创造出前所未有的互动观赛体验,如让观众自由切换视角、"悬浮"在篮筐上方观看NBA扣篮。
虚拟时尚:巴黎高定全息秀场
在虚拟时尚领域,LarkXR支持各种开发引擎和设计工具创建的全息模特走秀内容,确保高清细节在手机、AR设备等多终端上完美呈现。这不仅大幅降低了全息高定时装秀的开发和制作成本,更能为我们的合作伙伴和终端客户品牌开辟了触达全球消费者的新途径。
全息跨时空虚拟偶像演唱会:经典歌手“复活”
随着全息投影技术、AI合成声线以及实时交互技术的成熟,虚拟偶像演唱或已故歌手演唱会正也成为娱乐圈最大的热点之一。历史影像的分辨率与帧率往往无法满足全息演出的需求,而实时特效的开发成本与复杂度也让许多主办方和开发方望而却步。而平云行LarkXR支持8K超高清渲染和实时特效互动,让开发者能够轻松打造出震撼的全息表演,甚至"复活"经典艺术家。