2022北京冬奥会本是一届非凡的存在,这是有史以来第一次将奥运会所需的全部核心系统全面上云,以数字化技术创造奥运的新纪元。
但绿色奥运不止如此,在面临Covid-19限制和物理隔阂之下,千里之外,人与人的会面可以透过绿色科技之光而以全息形态实现,这便是阿里云视频云基于AliRTC(音视频通信技术)推出的云上创新解决方案——阿里云聚“Alibaba Cloud ME”,第一次在百年奥运史上跨越物理空间,创造了人与人之间的“云聚”时刻。(以下简称Cloud ME)
1. 云聚现场的汩汩之温—Cloud ME创造传奇会面
“Cloud ME”本意出发,为物理空间限制下渴望探索真实会面感的人们,提供沉浸交互体验,使他们能够以真人3D形态见面,并享受彼此的实时对话与交互。
远隔1300公里的巴赫与张勇先生,
以全息形态现身北京新闻中心,同台云拜年。
冬奥会刚刚开幕之时,身处北京闭环内的国际奥委会主席巴赫通过Cloud ME“现身”2022北京新闻中心云聚展区,与远在上海的阿里巴巴集团董事会主席兼CEO张勇,隔空“云聚”,以全息形态同台送出奥运寄语,又在“现场”隔空传递冬奥火炬,于众多媒体记者的见证下,Cloud ME让一切交谈和交互犹如真人临于现场,气氛真实而有流动感,惊叹元宇宙的提前到来,又深感科技涌出的汩汩之温。
在奥运世纪见面之外,更有温度的,是透过Cloud ME,让因疫情分离别北京、上海两地的医护人员家庭得以在“云上全家团聚”,孩子看到父母如临眼前的欢喜之相,和一张穿越空间的全家福,浓浓暖意,足以瞬间融化这背后所有技术的艰辛演进。而这一刻,技术也挥着人文的熠熠之光。
点击这里查看视频:通过Cloud ME,一场特别的见面
整个会面过程通过Cloud ME,将会面者们的全身图像投射到远程全息舱中,以展示他们的3D形象,从而促成多人异地的远程会面交互。
Cloud ME全息舱装置简单,除典型的演播室设备(如摄像机和计算机来捕捉镜头)之外,基于强大的云计算能力,不需要任何额外的现场IT基础设施或优化的互联网带宽来助力录制和传输。正是Cloud ME易于落地的特性,让虚拟现实会面可以在更无限的场域向更广泛的受众开放,创造更多样、更有温度的云聚可能。
一张特殊而浓浓暖意的“全家福”
就此,无论多想见的人、多遥远的客户、多难相聚的团队,都能透过阿里云视频云的Cloud ME,以云聚之力,咫尺相见。
2. Cloud ME的魔法显现—发丝级全息复刻&眨眼般超低延时
基于阿里巴巴在数字化和智能技术的支撑,Cloud ME制作的音视频将在阿里云上进行压缩、传输、处理和渲染,在这过程中,经久打磨的RTC技术起到最为关键的作用,而阿里云先进的计算能力和广泛的全球网络覆盖也为RTC提供了坚实基础。
实现多人异地全息会面,Cloud ME的操作落地简单,但技术非同寻常。
点击这里查看视频:冬奥黑科技Cloud ME的技术实现
传奇过程,如下所现:
首先,在影像采集环节,摄影机采集的画面是无法直接在播放端进行全息成像的,所有画面需要通过先进的编码器进行深度压缩,并在实时传输协议和QoS(Quality of Service)抗丢包策略的保障下发送到阿里云的音视频通信(RTC)网络,画面最终上传的格式和尺寸与普通4K电影无异。
随之,当画面到达云端之后,需要借助云上强大的处理能力完成包括转码、渲染、场景重建、光影处理在内的复杂流程,完成从“平面”到“全息”的蜕变,以真人1:1等比虚拟化复刻,生成3D全息人物,以高清方式重建所有互动细节,包括人物的微面部表情和服装纹理,达到“发丝级”全息全尺寸复刻,塑造全真实交互的沉浸感,一切犹如身临其境。
天下武功,唯快不破。在如此复杂和大跨度的技术链路上,为了实现顺畅的会面效果,技术实现的关键也在于“速度”,而保障“速度”的关键则是阿里云覆盖全球的音视频传输网络GRTN(Global Realtime Transport Network),及其在视频编解码、网络传输、超大规模音视频处理和调度等方面的核心技术。
基于这些技术,影像画面传输和处理的全过程,包括SDK编码、实时传输,云上处理和渲染,端侧解码和成像,仅需在眨眼间的200毫秒内即可完成,体感上与我们日常交流互动的综合体感相同,毫无延时顿感,极度真实。
由此,Cloud ME发丝级的全息全尺寸复刻、眨眼般的超低延时,和稳若磐石的网络传输力,让更多交互奇迹由而发生。