音视频绕不开的话题之WebRTC

简介: 闲来无事,我们今天探讨下音视频绕不开的一个话题:WebRTC。WebRTC之于音视频行业,无异于FFMpeg,可以说WebRTC的开源,让音视频行业大跨步进入发展快车道。

什么是WebRTC

bb5b18cc027f4e27afe8fb08e5ae0bc1.jpg

闲来无事,我们今天探讨下音视频绕不开的一个话题:WebRTC。WebRTC之于音视频行业,无异于FFMpeg,可以说WebRTC的开源,让音视频行业大跨步进入发展快车道。


WebRTC是一个支持实时音视频通信的开源项目,它允许网络应用或者站点在无需安装任何插件或者第三方的软件的情况下,建立浏览器之间点对点的(Peer-to-Peer)的音视频通信。


WebRTC项目由三个模块组成:媒体模块、信令模块和网络模块。


1.媒体模块:主要负责音视频的采集、编解码以及加密等处理,其中音视频的采集和编解码过程分别使用了G.711、H.264和Opus等音视频编解码协议,这些协议可以在保证音视频质量的同时,尽可能地减少传输的数据量,从而提高通信效率。


2.信令模块:主要负责在通信过程中提供信令交换的支持,包括建立通信连接、协商通信参数以及管理通信过程等功能。


3.网络模块:主要负责音视频数据的传输,包括数据包的发送和接收,同时还支持对等网络连接的建立和维护。

WebRTC的发展历程

2010年5月,Google以6820万美元收购VoIP软件开发商Global IP Solutions的GIPS引擎,并改为名为“WebRTC”。WebRTC使用GIPS引擎,实现了基于网页的视频会议,并支持722,PCM,ILBC,ISAC等编码,同时使用谷歌自家的VP8视频解码器;同时支持RTP/SRTP传输等。


谷歌2011年6月3日宣布向开发人员开放WebRTC架构的源代码。这个源代码将根据没有专利费的BSD(伯克利软件发布)式的许可证向用户提供。开发人员可访问并获取WebRTC的源代码、规格说明和工具等。 [2]


Google Chrome:2012年1月,将WebRTC集成进Dev Channel,同年6月又完成Stable Channel的20版的集成(2012年7月,PeerConnection与MediaStream仍必须透过chrome://flags page来打开)。


Mozilla Firefox:2012年初Mozilla集成WebRTC入Firefox Alpha,此一版本的Audio Mixing已完成于Media Stream。


2012年1月,谷歌已经把这款软件集成到Chrome浏览器中。同时FreeSWITCH项目宣称支持iSAC audio codec。


2012年4月,Mozilla展示Firefox中WebRTC的视频对话。


2013年6月,发布22.0版本正式集成及支持WebRTC。


2013年9月,发布24.0版本,并宣布Firefox for Android(移动版)正式集成及支持WebRTC。


Opera:2012年1月,Opera初步集成WebRTC。


Internet Explorer:Microsoft开始开放API。


Ericsson:2012年11月,Ericsson Labs做出了全世界第一个可以支持WebRTC的手机浏览器。


SeaMonkey:2013年1月发布的15.0版本初步集成WebRTC。


2019年10月22日,W3C WebRTC 工作组(Web Real-Time Communications Working Group)发布 WebRTC 可伸缩视频编码(SVC)扩展(Scalable Video Coding (SVC) Extension for WebRTC)的首个公开工作草案(First Public Working Draft)。 文档定义了 WebIDL 中的一组 ECMAScript APIs 来扩展 WebRTC 1.0 API,以允许用户代理支持可伸缩视频编码(SVC)。 [5]


2022年3月15日,W3C 媒体工作组发布自动播放策略检测(Autoplay Policy Detection)规范的首个公开工作草案。该规范为开发者提供了一种能力,用以探测在不同情况下是否允许自动开始播放媒体文件。欢迎公众通过 Github 反馈对该文档的意见与建议。

WebRTC用途

WebRTC的用途有以下几个方面:


  1. 网页实时通信:WebRTC的主要目的是实现网页间的实时通信,包括音视频通话、屏幕共享等。通过WebRTC技术,用户可以在不安装任何插件或第三方软件的情况下,在网页上直接进行实时音视频通信,大大提高了通信的便捷性和效率。
  2. 点对点通信:WebRTC支持点对点的通信方式,这种通信方式可以在对等体之间直接建立连接,避免了传统通信方式中的服务器中转,提高了通信效率和可靠性。
  3. 安全性保障:WebRTC使用了一些安全机制,如DTLS和SRTP等协议,对音视频数据进行加密和完整性保护,保障了通信的安全性。
  4. 跨平台:WebRTC可以在各种支持HTML5的浏览器中使用,包括PC、移动设备和智能电视等设备,可以跨平台使用。
  5. 灵活的扩展性:WebRTC提供了丰富的API和接口,可以方便地进行定制和扩展,可以满足不同场景下的需求。

WebRTC通信原理

WebRTC将媒体采集、编码、传输、解码、渲染等功能集成在一起,并通过一些安全机制和网络传输技术,实现了实时、安全、高效的音视频通信。


通信原理主要包括以下几个步骤:


  1. 媒体采集:在通信开始前,用户通过WebRTC的API,将本地的音视频数据采集到应用中。
  2. 媒体编码:在媒体采集后,WebRTC会对音视频数据进行编码,以便进行后续的传输和处理。WebRTC支持多种音视频编码协议,如H.264、G.711和Opus等。
  3. 媒体数据传输:在媒体编码后,WebRTC会将音视频数据传输到对等体之间。WebRTC支持点对点(P2P)的通信方式,可以在对等体之间直接建立连接,避免了传统通信方式中的服务器中转,提高了通信效率和可靠性。
  4. 媒体解码:在接收到对等体传来的音视频数据后,WebRTC会对这些数据进行解码,还原成原始的音视频流。
  5. 媒体渲染:在音视频数据解码后,WebRTC会将音视频数据进行渲染,以便用户可以听到和看到对方的音视频信息。
  6. 数据加密和完整性保护:在音视频数据传输过程中,WebRTC使用了一些安全机制,如DTLS和SRTP等协议,对音视频数据进行加密和完整性保护,保障了通信的安全性。
  7. 网络传输和连接管理:WebRTC还提供了网络传输和连接管理的功能,包括信令传输、网络状态检测、连接管理等功能,以保证通信的稳定性和可靠性。
相关文章
|
12天前
|
数据采集 人工智能 JSON
基于浏览器请求录制与AI代码生成的E2E接口自动化测试实践
以阿里云DataWorks为例,介绍如何通过浏览器录制插件捕获真实请求数据,结合AI编程工具自动生成接口封装与测试用例,解决复杂平台产品自动化测试中接口多、参数杂、数据流深的核心难题。
|
存储 弹性计算 数据可视化
如何在公有云部署UE/Unity实时云渲染推流平台
以阿里云主机为例,介绍如何在公有云上部署Paraverse平行云LarkXR实时云渲染平台,支持UE、Unity等各类引擎开发的三维可视化程序上云,应用于数字孪生、教育虚仿、展览展示、元宇宙及数字人等3D/XR场景中。
|
12月前
|
SQL 数据库连接 Go
Go语言数据库编程:GORM 的基本使用
GORM 是 Go 语言最流行的 ORM 框架,封装了 database/sql,支持自动迁移、关联关系、事务等功能,开发体验接近高层语言的 ORM。本文介绍了 GORM 的安装与初始化、模型定义、自动迁移、基本 CRUD 操作、条件构造器、钩子函数、事务处理、日志调试等内容,帮助开发者快速掌握其使用方法。
|
存储 人工智能 前端开发
【CodeBuddy】三分钟开发一个实用小功能之:贪吃蛇经典复刻版
本文通过一个完整的贪吃蛇案例,展示了AI编程助手的强大功能。CodeBuddy不仅实现了绘图、游戏逻辑和碰撞检测等复杂需求,还在100秒内生成300+行可运行代码。它在快速原型开发、代码智能补全、解释优化及异常排查方面表现出色,显著提升开发效率。案例中,AI生成了包含HTML、CSS和JavaScript的完整项目,涵盖游戏循环、状态管理与性能优化。尽管如此,仍存在改进空间,如碰撞检测优化、得分系统扩展和移动端支持。这表明AI并非取代开发者,而是助力其专注于更高层次创新,推动编程方式的革命性变革。
432 7
【CodeBuddy】三分钟开发一个实用小功能之:贪吃蛇经典复刻版
|
10月前
|
开发框架 监控 前端开发
Playwright进阶篇 (5) | 网络请求拦截与Mock
Playwright 提供强大的网络请求拦截与 Mock 能力,支持修改请求参数、模拟 API 响应、构造异常场景、加速测试执行,提升测试效率与可靠性。
|
消息中间件 存储 负载均衡
微服务与分布式系统设计看这篇就够了!
【10月更文挑战第12天】 在现代软件架构中,微服务和分布式系统设计已经成为构建可扩展、灵活和可靠应用程序的主流方法。本文将深入探讨微服务架构的核心概念、设计原则和挑战,并提供一些关于如何在分布式系统中实现微服务的实用指导。
676 2
|
机器学习/深度学习 自然语言处理 负载均衡
揭秘混合专家(MoE)模型的神秘面纱:算法、系统和应用三大视角全面解析,带你领略深度学习领域的前沿技术!
【8月更文挑战第19天】在深度学习领域,混合专家(Mixture of Experts, MoE)模型通过整合多个小型专家网络的输出以实现高性能。从算法视角,MoE利用门控网络分配输入至专家网络,并通过组合机制集成输出。系统视角下,MoE需考虑并行化、通信开销及负载均衡等优化策略。在应用层面,MoE已成功应用于Google的BERT模型、Facebook的推荐系统及Microsoft的语音识别系统等多个场景。这是一种强有力的工具,能够解决复杂问题并提升效率。
1450 2
|
XML Java 数据库连接
IDEA插件-MyBatisX
MybatisX 是一款用于 IntelliJ IDEA 的插件,旨在帮助开发者更便捷地进行 MyBatis XML 配置文件的编写和调试。它提供了许多功能和工具,以简化 MyBatis 开发流程。
4410 0
IDEA插件-MyBatisX
|
弹性计算 人工智能 自然语言处理
【玩转AIGC系列】AIGC文本生成视频
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型,并基于ModelScope框架,实现使用文本生成视频。
【玩转AIGC系列】AIGC文本生成视频
|
机器学习/深度学习 人工智能 达摩院
52个AIGC视频生成算法模型介绍(上)
52个AIGC视频生成算法模型介绍(上)
2289 3