HaaS RTC（实时音视频通信）总体方案简介

2021-08-20 494

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： RTC（Real Time Communication）实时通信业务，目的是在设备端实时的转发音视频多媒体数据，让用户能实时的进行音频和视频的会话。

来源 | HaaS技术社区

一、RTC业务简单介绍

RTC（Real Time Communication）实时通信业务，目的是在设备端实时的转发音视频多媒体数据，让用户能实时的进行音频和视频的会话。通信业务一般都有如下几个部分组成：

呼叫信令：用于呼叫的应答和协商，主叫和被叫之间要协商是否建立呼叫、数据通道的连接参数、数据格式、数据类型等信息，让主叫和被叫之间对齐音频编码、视频编码的相关信息，这样才能进行音频和视频的编解码-传输流程。。
数据传输：基于呼叫信令协商好的参数进行音视频数据的采集-编码-传输-解码-展示。

实时通信业务基本上分为两种形态：

点对点：通行双发设备具体直连的通道，在两个设备端之间直接处理信令呼叫和数据传输。主叫和被叫之前必须使用相同的音视频编码参数、音频打包时长等信息。采用的是对等的传输通道。

中心化交换：有两个方式，只是信令的中心化交换，信令和数据都中心化交换。

信令中心化交换，只是通过服务器控制呼叫信令的转发，服务器不参与音视频数据传输。服务器不需要投入很多资源，只是管理设备状态、业务鉴权，音视频数据的传输完全由设备点对点完成。服务器只保证信令通道的QoS。

信令和数据都中心化交换：服务器要负责信令的转发，同时要负责所有音视频数据的转发。服务器既要完成信令的转发，还要负责音视频数据的转发，服务器需要的资源随多媒体的采样率、格式、分辨率变化。

三个方式的对比如下：

方式	优势	缺点
点对点	设备端闭环，无需服务器整体方案简单	音视频的效果完全取决于性能最差的设备多对多场景，会形成NxN的传输网络。每个设备端都要负责（N-1）路音频和视频的处理，整体业务性能取决于性能最差设备端能力。发起呼叫时，主叫必须通过其他渠道唤醒被叫，等到处理呼叫请求。无法进行设备状态管理，也没统一的业务管理能力。灵活性差，很难扩展业务
信令中心化交换	由服务器统一管理设备状态发起呼叫时，由服务器判定被叫是否能被寻呼服务器功能简单，资源消耗少	音视频的效果完全取决于性能最差的设备多对多场景，会形成NxN的传输网络。每个设备端都要负责（N-1）路音频和视频的处理，整体业务性能取决于性能最差设备端能力。灵活性差，很难扩展业务
全中心化交换	由服务器统一管理设备状态发起呼叫时，由服务器判定被叫是否能被寻呼服务器可以根据设备端能力，对音视频转码实现最好的端-端音质和画质。可以在服务端灵活、方便的扩展业务链路，添加音画质优化、多媒体信息实时转储等多种业务每个设备可以只处理一路传输，一路下载的多媒体数据，且无需进行混音和画面融合。对设备端能力要求非常低。	服务端复杂服务端资源消耗高

根据上面的简单比对，可以看出在阿里云-IOT领域，全中心化交换方式是比较理想的RTC业务形态，因为：

随着4G、5G的铺开，云规模的不断扩大，流量价格在急剧降低，中心化交换引入的流量成本已经可以做到逐渐下降，直至低于设备端增加成本（单设备增加成本x设备数量）。
把复杂的算法、视频动态转码等功能上移给服务端，可以让设备端极度简化，降低设备端的开发难度，节省设备端开发时间成本，特别是IOT场景下终端都比较“瘦”。上述功能上移到云，可以通过大数据、AI等方式有效的提高算法、动态转码效率，整体提升RTC业务的效率和体验。

二、HaaS RTC介绍

HaaS RTC 是基于阿里IOT的HaaS平台搭建的实时音视频通信端云一体，软硬件一体解决方案。主要目的是提供一条完整的设备-云-设备的多媒体信息实时传递通道。主要特点是：

多种通信场景支持：1 VS 1，1 VS N， N vs N，音视频链路（单、双向）自由配置。
丰富的设备形态支持：支持在手机、PC、Linux平台嵌入式设备、AliOS Things平台物联网设备上集成。形成智能门禁、儿童手表、楼宇对讲、智能安防IPC等多种产品-业务形态。在使用AliOS Things平台还可以实现设备侧资源极致“瘦”身优化。