元宇宙时代超高清视音频技术白皮书关于流媒体协议和媒体传输解读

简介: 元宇宙业务场景对流媒体传输的实时性和互动性提出了更高的要求,这就需要在传统的 RTMP、SRT、 HLS 等基础上增加实时互动的支持。实时互动,指在远程条件下沟通、协作,可随时随地接入、实时地传递虚实融合的多维信息,身临其境的交互体验。实时互动作为下一代互联网基础设施,实现了从“在线”到“在场” 的重要转变,将推动互联网向以“临场感”为主要特征的元宇宙方向的升级变革,当前几个主流的技术方向如下。

流媒体协议

元宇宙业务场景对流媒体传输的实时性和互动性提出了更高的要求,这就需要在传统的 RTMP、SRT、 HLS 等基础上增加实时互动的支持。实时互动,指在远程条件下沟通、协作,可随时随地接入、实时地传递虚实融合的多维信息,身临其境的交互体验。实时互动作为下一代互联网基础设施,实现了从“在线”到“在场” 的重要转变,将推动互联网向以“临场感”为主要特征的元宇宙方向的升级变革,当前几个主流的技术方向如下。

4b9998a893b140cbab909aa97a549e73.png

MPEG-DASH 是一项基于 HTTP 的动态自适应流传输技术,由 MPEG 在 2012 年推出。它不限制编码格式及内容,能够根据当前带宽容量、网络性能等情况自适应地实现不同码率之间的灵活切换,在为用户提供低卡顿体验的同时保证播放内容的质量。当前,MPEG-DASH 协议已成为全景视频的主要传输协议。


WebRTC 是一项实时通讯技术,早期由 Google 开源,实现了基于网页的实时通讯能力,并于 2021 年被万维网联盟(W3C)和互联网工程任务组(IETF)采纳为官方标准。WebRTC 可以实现超低延时、低卡顿的实时通讯效果,但是对虚拟现实内容面向元宇宙新的媒体类型媒体传输和交互支持不足。WebRTC-NV(Next Version)是下一代 WebRTC,是当前 WebRTC1.0 之后的标准,意在支持当前 WebRTC API 不可能或很难实现的新用例,比如 VR。主要是从通道扩展性、模块成熟和完善性、采集扩展性、独立的标准等 4 方面能力提升。


QUIC 是一项基于 UDP 的低时延通用传输协议,由 Google 推出,它从可靠传输、安全机制、时延等方面对 UDP 协议进行了优化,通过加密、流量控制、拥塞控制等技术,实现了更灵活、更安全、低时延的传输。目前,多个浏览器已支持 QUIC,比如 Google Chrome 浏览器、Microsoft Edge、Firefox 等。同时,该协议已广泛应用于移动端直播、短视频、高速图片文件下载等业务场景。


支撑元宇宙的算力网络架构图:

9732f9cf7e6349dc9a1545fbd81cdd08.png

综上所述,面向未来元宇宙沉浸式体验的需求,3D 视觉媒体信息的低时延高效传输是亟需解决的问题。因此,如何基于 3D 视觉信息的特点对传输协议进行优化以实现低时延传输将是传输协议进一步发展的方向。

媒体传输

元宇宙场景中需要支持多种类型的视音频数据传输,以及对实时性、互动性有较高的要求。


3GPP SA4 正在进行 5G_RTP、iRTCW 、FS_ eiRTCW 等标准研究项目,将针对沉浸的实时业务(如 XR 业务)的沉浸媒体和相关元数据的实时传输,以及沉浸的实时通信。


同时,MPEG 已制定或正在制定支持元宇宙场景的全景视频、多视点视频、点云数据等沉浸媒体的传输标准,使用扩展的 DASH/MMT 协议传输 MPEG 的沉浸媒体封装文件。


IETF 和 W3C 组织于 2021 年将 WebRTC 采纳为官方标准,目前也正在研究下一代 WebRTC 标准。


WebRTC 工作组正在开发媒体捕获和媒体流以及屏幕捕获等规范,同时审阅支持 WebRTC 新用例的技术提案;探索边缘计算对 Web 平台的影响以及有关用例和需求,在 Web 浏览器中整合网络质量监测和预测。为支持元宇宙中不同场景的媒体传输,将对潜在的媒体传输协议的功能扩展并优化使用(如 RTP 协议、 WebRTC 协议)、传输的功能组件等进行标准研究,以及对元宇宙中潜在的、新兴的沉浸媒体数据格式提供灵活的传输/访问机制(如基于空间的媒体访问,基于视角的媒体传输)进行标准研究,以提高传输效率,减少终端开销,增加沉浸体验,满足不同的业务场景。


相关文章
|
存储 Windows
怎样格式化硬盘?四种硬盘格式化方法(含详细图文步骤)
这篇内容介绍了硬盘格式化的方法,包括为何要格式化硬盘(如快速清空数据、建立新分区、修复错误、改变文件系统类型)和四种格式化方式:1) 使用文件管理器,2) 通过磁盘管理器,3) 利用分区工具DiskGenius,4) 使用diskpart命令。在执行格式化前,务必备份重要数据,因为格式化会导致数据丢失。
|
编解码 缓存 算法
视频帧里的I帧、P帧、B帧是什么?
I帧、P帧、B帧是视频编码中的基本概念。I帧是帧内编码帧,无需参考其他帧即可解码;P帧是前向预测编码帧,基于前一帧解码;B帧是双向预测编码帧,基于前后帧解码。IDR帧是一种特殊的I帧,用于即时解码刷新,防止错误传播。GOP(Group of Pictures)是一组连续的画面,第一个帧为I帧,gop_size设置越大,画质越好,但解码延迟增加。OpenGOP允许GOP间的帧依赖,而ClosedGOP则不允许。DTS(解码时间戳)和PTS(显示时间戳)分别用于解码和显示时间控制。
|
存储 算法 安全
操作系统之文件系统的奥秘
【9月更文挑战第19天】本文将深入探索操作系统中不可或缺的组件——文件系统,揭示其工作原理与实现细节。我们将通过浅显的语言和生动的比喻,一步步解析文件系统如何组织数据、管理存储空间,并确保数据的完整性和安全性。文章不仅适合初学者构建基础概念,也能帮助有经验的开发者更深入地理解文件系统的高级特性。
|
缓存 NoSQL 关系型数据库
mysql和缓存一致性问题
本文介绍了五种常见的MySQL与Redis数据同步方法:1. 双写一致性,2. 延迟双删策略,3. 订阅发布模式(使用消息队列),4. 基于事件的缓存更新,5. 缓存预热。每种方法的实现步骤、优缺点均有详细说明。
437 3
|
前端开发 开发者 容器
CSS进阶-Flexbox高级布局技巧
【6月更文挑战第16天】Flexbox是CSS3的布局模块,简化响应式设计和复杂多列布局。文章探讨了Flex容器与项目属性的区分、垂直居中、防止元素溢出等常见问题及解决方案。此外,还分享了等宽不同高列、圣杯布局和自适应间距等高级技巧。通过示例展示了如何创建垂直居中布局,强调实践和理解核心概念是掌握Flexbox的关键。
447 10
|
缓存 关系型数据库 MySQL
error: Failed dependencies: mariadb-connector-c-config is obsoleted by mysql-community-server-8.0.36-1.el7.x86_64 问题解决
error: Failed dependencies: mariadb-connector-c-config is obsoleted by mysql-community-server-8.0.36-1.el7.x86_64 问题解决
931 19
|
SQL 关系型数据库 MySQL
使用OceanBase进行大规模数据迁移的最佳实践
【8月更文第31天】随着业务的不断扩展,数据迁移成为了企业日常运营中不可避免的任务之一。对于那些正在从传统的数据库系统向分布式数据库系统过渡的企业来说,数据迁移尤为重要。OceanBase 是一个由阿里巴巴集团开发的高性能分布式关系数据库,它以其高可用性、水平扩展能力和成本效益而闻名。本文将探讨如何使用 OceanBase 进行大规模数据迁移,并提供相关的最佳实践和代码示例。
1051 1
|
存储 编译器 C语言
初识C语言5——操作符详解
初识C语言5——操作符详解
358 0
|
弹性计算 关系型数据库 MySQL
rds子网配置
在阿里云中配置RDS子网涉及五个关键步骤:1) 创建或选择VPC作为私有网络环境;2) 在VPC内创建子网并确保IP地址不重叠;3) 关联路由表和安全组以控制流量及访问权限;4) 创建RDS实例时指定VPC和子网;5) 确保ECS实例与RDS在同一VPC或配置相应跨VPC访问,并调整安全组规则。这样可保障RDS与其他资源的通信及网络性能。
330 6
|
JavaScript 前端开发 API
JavaScript基础-事件监听与处理
【6月更文挑战第11天】本文介绍了JavaScript事件驱动编程的核心,包括事件流(捕获、目标、冒泡阶段)和监听方法(DOM Level 0、addEventListener/removeEventListener)。讨论了常见问题和易错点,如内存泄漏、事件委托和阻止默认行为的混淆,并提供了解决策略。通过代码示例展示了事件绑定、事件委托和阻止默认行为的用法,强调理解事件处理机制对于编写高效交互式Web应用的重要性。
889 6